赵昺听了刘辰翁的话后陷入了沉思，他现下已经明白安置归正人不仅仅是一个政策问题，且是一个牵一发而动全局的难题，同时也是一把双刃剑，弄不好反而会伤到自身。而即便在前世，现代移民也是令各国十分头疼的事情，毕竟人到了哪里都面临着生存问题，而大量移民的涌入还会涉及到国家安全。
在分析了当前宋朝实施的移民政策后，赵昺也发现其中透露出了历代祖宗的无奈和矛盾心理。宋朝因为失去了地理上的庇护，外患始终是挥之不去的梦魇，而国家安全受到的外来威胁主要来自辽、夏、金、元。契丹给北宋造成的亡国威胁远大于西夏，而西夏给北宋造成的国防压力则远甚于契丹。金不仅亡了北宋，而且长期对南宋国家安全造成严重威胁。元则最终灭了南宋。相比之下，西南少数民族对宋朝国家安全构不成威胁。
这种差别导致宋朝对它们采取了不同策略。对西南少数民族，宋朝“qín_shòu畜之，务在羁縻，不深治也”。对西北诸政权，则以劲敌待之，积极防御，不轻易主动发动战争，争取、维持和平局面。两种策略虽然都务在保持边疆稳定，但在实施过程中，宋朝于前者表现出很大的主动性，于后者则受制于西北.诸政权，极为被动。宋朝对归明、归朝、归正人政策的诸多差别实源于此。
宋朝自建国后，一直想收复，但碍于契丹武力强盛，长期不能如愿。澶渊之盟虽确立了宋辽长期的和平局面，但在国防上，北宋被动的地位一直未能改变，及时掌握辽在燕云地区的动向，就显得特别重要，而燕云归朝人可在其中发挥重要作用。
如此一来，与归朝、归正人相比，尤其是在对待西北归明人上，在田宅、职田等方面享受更优厚的待遇，实则是为了吸引更多的归明人，虽然神宗曾说：“中国人固多，诚不赖夏人”，但归明人对宋朝国防具有其他来归之人不可替代的作用。但宋朝对西北归明人的招诱、接纳基本上被限制在战争期间，而对西南归明人的接纳则不存在受制于人的问题。而在吸收了大量移民后，宋廷获得了实惠的同时，也背上了沉重的负担。
在安置“归正人”的过程中，宋廷对于每一类人群都有其相应的政策，这些政策对于“归正人”来说是非常优厚的。但是，“归正人”优厚的待遇，不仅带给了南宋政府极大的财政负担，同时也激起了南方本地势力的不满。而政府在处理这类矛盾时，似乎并没有太多好的办法，他们一方面优待“归正人”，一方面又不信任“归正人”，甚至会迫于金朝的压力遣返“归正人”。
如此造成了“归正人”在社会上的尴尬地位，也激起了“归正人”的怨恨之心。当主战派在朝廷上得势的时候，南宋就会想尽一切办法收纳、诱使北人南迁，并给予最大的物资支持。当主守派得势的时候，归正人就会陷入很尴尬的局面，甚至有时面临被遣返的下场，这些被迫北返的归正人，饱受报复与歧视，生活常陷于绝境，必然会使这个群体对宋生产了严重的怨恨。
与此同时，在宋朝官冗、财政危机局面形成及日趋严重的过程中，归明、归朝、归正人起到了推波助澜作用。鉴于此，宋朝虽然总体上对他们采取了优待政策，但迫于压力，只能根据国家安全形势及其所起作用的变化，在已有优待政策基础上，进行适当调整，限制优待对象，降低优待标准，以缓解冗官、冗费和财政危机的压力。
朝野中也对移民问题争论不休。支持者认为，对归正人的态度，显示着宋王朝的“正统”，是收揽中原人心、争夺中原人才的一个必要举措。同时可以增加人口与耕地面积，可以补充军队兵员，还可以了解敌国的内部情况与动向。因此，不仅不能拒绝，还要重金招纳。
反对者认为，这些南迁的归正人是敌国的设下的毒计，利用这些流民来蚕食宋国。一方面，南迁官员众多，使南宋冗官现象非常严重，给国家带来巨大的负担。另一方面，本来土地有限，蜂拥而入的归正人侵占了宋人的土地，又增加了东南民众的生存压力，把原来的良民逼成“盗贼”。
还有在宋军中，尤其是前线最具战斗力的部队中，由于归正人的比例逐年增加，使军队的管理出现隐患。端平年间，襄阳、唐州、邓州、黄陂等地北军相继发动叛乱。一方面是这些北军饱受排挤，另一方面是宋正军在数量上不占优势，使军队内部管理失控。
事实上的确米仓中会混有几粒老鼠屎，大量的归正人之中，其中投机者不少。有些伪造履历以骗取南宋的官职，或不断地索要官职差遣让南宋朝廷疲于应付。有些归正人官员在地方上作威作福，仗势欺人，败坏吏治，还有一些是金国人安插的奸细，或窃取情报或从事破坏活动。
这些都增加了南宋官员对归正人的疑虑与不信任。而不信任感是长期存在于南宋朝廷之中的主流态度。包括朱熹，都直接把归正人与汉代时的宦官、唐代时的藩镇视为一类，认为这些人都是造成社会动乱的病根。因此，许多归正的文官多不被授实职，添差后就将他们分散地安置在各州郡中。
在军队中，归正人受排挤的现象更为严重。影响最大的一个是山东李全的“忠义军”，因为宋对其采取利用与挑拨的策略，使“忠义军”最终覆灭，名义上归附宋国的山东全境因此落于蒙古手中。另