然后虞允文又上言，临安与大理、交趾相隔数千里，文书消息来往不便，应当受于杨炎特权，与交趾之间是战是和，何时战，又何时讲和，都有杨炎自行决定，不必事事都要奏明朝廷，等待朝廷回复，以免贻误了时机。对此赵昚也无异议，便下了这样一道上谕。
杨炎接到了上谕之后,立刻去见段智兴。别人要见段智兴都会被宁公公挡回，但杨炎一说求见，连宁公公也不敢怠慢，立刻亲自入内去报告。段智兴也不敢慢待杨炎，立刻整衣招见。
其实杨炎也有快二十天没有见到过段智兴了，这时只见段智兴脸色发青，两眼浮肿，一看就知道是一付酒色过度的样子。杨炎心里叹了一囗气，把自己的来意说了一遍。强调是大宋朝廷下令，让自己继续进攻交趾。
这些时段智兴虽然沉迷与酒色之间，但心里其实并未糊途，他自然知道这次高建铭叛乱的背后是交趾在支持，而且现在高建铭还在交趾，可是大理的心腹大患。虽然高氏在大理城的势力以经被消除干净了,但高氏毕竟在大理经营百余年,根基深厚,盘根错节,在地方上担任官职的同党还有不少，在大理国内还有不小的势力。
事实上就在这一个多月的时间里，陆陆续续又有不少高氏的余党，从大理逃到交趾去投奔高建铭，这时在高建铭身边就以经重新聚集了六七千人，还有一笔相当可观的财产，足见高氏在大理的势力还是不容小视的。因此这个时候宋军继续进攻交趾，对于大理来说是百利而无一害。
段智兴一听杨炎的话，当即便问道：“不知杨驸马打算何时开始起兵？”
杨炎道：“回禀陛下,这些人马事情外臣早己准备完毕,五天以后大军就可以出发。而且现在大理以经全部平定下来，外臣的任务也以经完成了,因此外臣打算进攻交趾之后，就从交趾转道返回大宋，不在返回大理了，因此就此也向陛下辞行。”
段智兴吃了一惊，道：“杨驸马于我大理有大恩，朕尚未报达，怎么能这么就走了呢？打完交趾之后一定还要返回大理来，多住一些时日再走也迟。”
杨炎微微一笑，道：“这段时间以来，陛下对外臣等照顾己十分周到，也赏赐了不少财物，外臣岂敢再求什么？何况外臣在广南尚有公务需要处理，不敢再大理多做停留，望陛下见谅。”