“高某自问和斛斯政的交情，被贬到岭南也是罪有应得，能得萧驸马帮衬，不降品级，已经是意外之喜了，萧驸马相邀一路同行，本不该推拒。只是高某在东都家中还有母亲、丧偶小妹与一对外甥、外甥女，病老妇孺都占全了，实在不能与高某同行，受这岭南瘴疠劳顿之苦。故而，不得不先回一趟东都，另外寻了宅邸，并留下拙荆奉养母、妹。”
“高世叔当真是前辈楷模，如此至孝。岭南着实艰苦，不愿意家中老小一并受苦，也是正理。不过如今道路不靖，高世叔若是与萧某兵马同行，尚且可保道路无虞。若是独行，如今两淮杜伏威的地界，只怕便过不去了。而且天下如此骚乱，高世叔把家眷留在东都，自己却往岭南，云山相隔，往来相见的机会只怕都没有了。若是高世叔坚持，萧某也可以暂缓在荥阳郡驻留三四日，给世叔安排家务的时间，然后咱再同行。”
高士廉心中是愿意跟着萧铣一起护送南下的，不过没好意思说出来，踌躇忸怩着说：“这个……如何使得，萧驸马身兼陛下委派的平定江南重任。多耽误三四日，也是罪过的。”
“贼情倒不在这几日，萧某带领的兵马，也不尽都是靠如今随行这些，还有来护儿来大将军拨给的一些精兵，要走海路南下吴郡，总归比咱晚到就是了。不过萧某倒有一个提议：世叔不如把家人都接上，一并南下，只不过不必去到岭南瘴疠之地，便是打算在吴郡、会稽、丹阳，不拘哪一出，安顿下了，再自身去岭南上任，岂不是好？
一来江南到岭南，比东都到岭南近得多，而且江南贼情平定甚易，将来也不存在道路不靖阻隔等违碍，世叔还有可能探望家小。二来此去江南，有运河水路可走，大船平稳，并无车马颠簸之苦，便是上了年纪的或是妇人，也经受得住。走运河可以往南一路到会稽郡，若是再想往南，才不得不走海路或是山路，到时候再行裁处，岂不是好？”
高士廉听了心中意动。他姓高，其实是当年北齐亡国之君旁支后裔，他的祖父高岳，就是当初北齐开国君主高欢的堂弟。所以高士廉此前如同其他亡国宗室后裔一样，在朝中一直是最清贵闲臣，多掌礼法方面的事务。此次被流放到岭南，好歹是做了实权地方官，他心中也在忌惮万一自己被人猜忌了，留在京中的家人会不会有问题。所以历史上他带不了家小，便只好让自己的外甥结好李世民，搭上李渊这条线，好留条逃命的后路。
现在萧铣这个建议，明显更加有诱惑力得多。
“世叔若是南下置办府邸有什么难处，拒向萧某开口。对京中故友，也拒宣称是带了家眷到岭南赴任的便是，如此，也不虞有人闲话世叔攀附萧某了。”萧铣一通很是细致的安排，打消了高士廉的一切顾虑，末了，萧铣还凑过去，低声故作神秘地说，“其实萧某与世叔也算是一见如故，有些不当讲的话，也就不隐瞒了：陛下与裴总管委派萧某为扬州内外侯官总管，从江东，到荆楚、岭南，萧某不想让北人知道的事情，他们总归是知道不了的。”
高士廉心中剧震，爽快地感恩答应了下来。萧铣让船队在荥阳休整了三天，又在洛口仓补充了军粮，等高士廉回东都洛阳安排。三天后，便看到高士廉带着家小细软，分乘两艘官船回来回合了。
一行家眷中，有高士廉的老母，以及他的妻子鲜于氏，还有守寡了的妹妹长孙高氏，以及外甥长孙无忌、外甥女长孙无垢。长孙无忌如今不过是一个十七岁的少年人，而长孙无垢更是只有十岁的小萝莉而已。