其他小股农民武装，发扬他们在国内那一套抢劫勒索的风格，也没留下好印象。比如，入越武装黄二、何亚木、许晚等，率众300余人攻打越北当地的山瑶村栅，勒索“限某日送银数百”。王士林武装，“每抵一地，即纵兵大掠，惟各墟贫户多富户少，甚至掳人勒索，亦无所得”。逆匪吴亚终因粮食不继，分党潜于中外交界一带掳掠粮草，“畜物尽陷贼中”。
后来负责帮助越南镇压天地会武装的满清四川总督丁宝桢向皇帝奏报过相关情况，称：“臣闻从前发逆自扑灭后，余党散入越南，尚以万数千记，率皆剽掠为生，越南深受其害。”
由于天地武装刚刚入越的时候，没有根基，只能劫掠为生，因此跟当地百姓攻杀不断，相互之间不可能融洽。
后来越南官府开始招抚这些悍勇的农民武装，给他们划地安置，甚至拨付粮草、耕牛，有的吃完了粮食后会继续反叛，比如黄崇英以及继任者叶成林部，但也有的老老实实的拿着越南人给的资助就地开荒，比如刘永福黑旗军部。
1875年之后，越北地区的华人和当地百姓关系才开始变得融洽起来，像刘永福这种比较安分的移民首领起到了相当大的作用，他不但招抚汉人百姓垦荒，也收留越南流民垦荒，在他手下华人和越人和睦相处，都给他当兵。另外还有华人开始跟当地人通婚，刘永福手下的光棍都娶了越南媳妇。越南媳妇非常彪悍，还出现过两个女子都是华人士兵妻子，丈夫抗法战死后，俩人竟然招募士兵起兵要报夫仇，越南女人的这种悍勇后来自卫反击战的时候，中国士兵也领教过。
杂居、通婚是改善关系的最好办法，但需要的时间太长，真正起到速效作用的，其实还是法国人对北圻的侵略，1873年法军侵入北圻，激起了当地人的反抗，这时候华人、越人、瑶人等民族联合起来对抗法军，这种战争中的凝聚力，短期内就改善了关系。
有记载，刘永福攻打法军在下龙湾的海中炮台的时候，攻不下来，苗人中的悍勇谙熟水性的勇士，驾驶小船拼死杀上了炮台，打死了法国炮兵攻占了炮台。法国人炸毁堤坝水淹抗法华人的时候，越南人驾驶小船，往来救助救了不少人。白苗人不当兵，但是负责运送粮食很卖力气。
正是因为法国的入侵，导致了越北地区民族关系的融合，可以说华越关系靠法国。
有了十年前的合作，这一次法国人卷土重来，华人农民武装，越南乡绅势力，瑶人、苗人的山寨首领们，已经能够提前互相联络，一起抗敌了。所以越南政府通过这些乡下组织征募的劳工给明军干活，他们是理解的。尤其是明军还坚持发给他们现银工资，更是调动了这些劳工的积极性。
一个月之后，简易壕沟完工，之后还深入包围圈之内修建了坚固的要塞炮台，距离进到可以跟法军要塞上的大炮可以进行对轰，但总体来说明军是吃亏的，因为法军依然占据着地势，所有的高地基本上都在法军手中控制。
完成包围之后，大明才开始谋求改变这种状况，经过认真的侦查，陆军决定攻取深入大海的海防南方的涂山口，这里跟北面的吉婆岛如同拥抱海防的两个臂膀一般，一旦能够攻陷涂山，虽然火炮的射程还达不到二十六公里外的海防城中，但是已经可以封锁涂山弯海面，让法国舰队无法在海防中停留，否则就有被聚歼的可能。