派往孙权处的使者最先返回，带回来的消息令刘备等人振奋，若是从孙权处暂借四县地盘，足够安置官兵和百姓了；于是，刘备令简雍开始准备南迁之事。
刘磐、刘度、刘琦等人率领四千多荆州兵和两千多蛮夷士兵，随刘备的使者借道交州边境，来到零陵郡，武陵郡被董卓完全占领。
刘磐被任命为军司马，管辖四千荆州兵；那两千多强壮的蛮夷士兵成为刘备的部曲；刘度等人被闲置，现在他们寄人篱下，也不敢反驳。
又过了一月，派往江东的使者才返回，不过秦关愿意接收地盘，却不愿意付出钱粮；刘备感觉，只要他能接收地盘，便能阻挡董卓的军队，他可放心南下，于是同意了秦关的意见，让江东白得两郡之地。
不过刘备一直没有等到前来接收地盘的人，等了一个月后，他猜测情况有变，便不再等待，而是命令大军南下。
简雍早就放出消息，董卓实力强大，不能力敌，大军将要南下，而百姓早知董卓军队残暴，若是留下，必遭横祸，无奈之下，只得跟随刘备大军南下。
刘备非常狡猾，既然与江东的谈判情况有变，他怕遭到江东的袭击，便决定兵分两路，东路由徐盛率领，带领军队和百姓从桂阳郡南下，经曲江县到达南海郡，渡江后便可到达孙权指定的地盘；这条道路比较近，且有黄盖等人接应，比较安全，徐盛不疑有他。
刘备亲率零陵郡的军队和百姓，准备直下苍梧郡。部队和百姓南下零陵县集合；并派出斥候，大张旗鼓的前去营浦县，探查到达苍梧郡谢沐县的道路。
从零陵郡的营浦县到苍梧郡的谢沐县，经冯乘县、富川县、临贺县、封阳县，到达苍梧郡的郡治广信县（后世的苍梧），是南下交州的重要通道，道路平坦，人员相对稠密，不过交州在沿途布置了重兵，刘备若是一路平推过去，将会非常困难。
这时，刘备却亲自带领两千多蛮夷士兵和陈到所率领的护卫兵以及部分精锐部队，突然转道去了零陵郡始安县；始安县就是后世的桂林；他准备从始安县，沿着漓水（漓江、桂江）直下东南，突袭苍梧郡郡治广信城，这样，北部诸县的官兵将会不战而降。
其它官兵和百姓，在郡丞蒋琬和军司马刘敏的率领下，前往营浦县，不知不觉中成了为刘备打掩护的靶子，成功吸引了董卓和交州军队的注意力；若是此行顺利，刘备准备到时候再派人来迎接他们。
刘备不愧为刘跑跑，对危险有天然的感知，这次又让他成功躲过了杨弘等人的算计；徐盛等人却没有这么好运了。
军阀带来的只有混战，对生产造成严重的破坏，给百姓带来无限的灾难。
刘备到达苍梧郡，立即给苍梧郡带来了战争。
广信城处于后方，毫无防备，且兵力很少，被刘备一鼓而下，让他失算的是苍梧郡太守并不在城中，这使得他的突袭行为成为冒险行为。
此时，苍梧郡太守士?正在临贺县，组织官兵防御刘备南下，而逃过一劫；得知广信失守，士?大惊，立即调整布防，准备反击；他估计刘备所带官兵肯定不多，绝不能让他在当地立足，否则就麻烦了。
于是，先调兵于封阳县，成为抵抗刘备的最前线；其次派兵切断漓水，断绝刘备的后退之路和联络；最后，联络其它几郡派兵前来支援。
太守士?的反应非常迅，让刘备迅占领苍梧郡的计划落空了。
此时，苍梧郡的精华在北部几县，那里离中原更近，迁移来的百姓都是就近安置，逐渐展起来了。