做为主帅的尉迟琼对手下胡作非为睁只眼闭只眼，离开耽罗就要去与倭人拼命，作为一支孤军他们中能有多少人活下来都是问题，还不如让他们在岛上尽情享乐。
耽罗星主跑到尉迟琼面前表达自己的愤怒，怒斥再不约束手下他将遣使禀报新罗，新罗必将发大兵前来剿灭他们。
攻占石见为了不引起必要的麻烦，北方贸易船队按李旭的命令从岣山岛出发后一直伪装成海盗，故在耽罗星主眼中这就是群从大唐流窜来的海盗欺他耽罗国小民弱在他国土上肆掠。
为了把尉迟琼吓走，耽罗星主搬出他的宗主国新罗，恐吓说新罗有带甲三十万，不早日退走当心新罗上国大兵一至玉石俱焚。
尉迟琼仰面哈哈大笑，耽罗小国向大唐称臣纳贡，没想到他还向新罗称臣，看其口气与新罗的关系更为亲近，竟想以新罗的国势还压他。
如果是礼部的人查阅档案的话会发现，耽罗已经有很多年没去大唐朝贡了。
这种蛇鼠两端的小国令尉迟琼生厌，加上耽罗地处新罗、倭国与大唐的海上要冲，离大唐最近，是江淮去新罗、倭国必经之地，地理位置极为重要。
尉迟琼心生夺占耽罗，将其经营成攻击倭国石见的前沿基地，遂下令将耽罗星主当场拿下，以星主之名将耽罗王室成员及五部首领诱至船队大营悉数斩杀。
耽罗顿时群龙无首乱作一团，尉迟琼挥军扫荡全岛，除了少数人躲进岛中部的汉拿山外，剩下的耽罗人，成年男性悉数被杀，女人和小孩被分配给参战将士作为奴隶耕种瓜分到的土地。
唐高宗时期统计有户口八千的耽罗国，经战一乱，只剩下五千多的妇孺小孩名存实亡。
尉迟琼于岛东筑旌义城及海港，港外不远处就是牛岛构成天然海港，留兵五百镇守，将俘虏的五千多妇孺置于城外的营寨中监视居住耕种。