他先是与太尉戚怀义过从甚密，继而同右相高安士也有了往来，而这两人都是商相耕苗新法反对者中的领军人物。他不再全力拥拓商相推行新法，遇有朝堂上两派相争，多数时候保持沉默，私下里也有对新法不满之言辞。
某日商相朝争失利，对唐初楼多日来的不满终于爆发，在府内大发雷霆，历数他种种不端与错处，就此斥出，再不许踏入相府一步。
唐初楼在相府外跪了两日，也未求得商相的原谅。
这之后，唐初楼从吏部员外郎始被一贬再贬，差一点便官位不保，直到他迎娶了高安士的小女儿才有转机。
那一段时日，唐初楼过得颇是狼狈。
秦放歌私底下去看他，也自心酸。他虽不通政事，却也明白唐初楼如此是因何之故，他对恩师的某些做法其实是不赞同的，只是商相刚愎自用，又正在气头上，他又如何敢多言？
唐初楼倒是淡淡的，言谈中并未有什么怨言，两人倒因此又走动得密切起来。
事情传到商相耳中，却又是一番风波。他被狠狠责骂倒是其次，唐初楼则再次遭到贬黜。秦放歌夹在中间，里外不是人，倍觉困扰下干脆请命从军，索性离了京师，远赴域北。
他也没想到，此去竟令他保住了一条命。
景隆十三年，风云突变，商相先是因岳州民变被罢黜相位，继而便被门生苏沐光告发，言其家中私藏兵器欲谋逆叛乱。
皇帝雷霆震怒，即刻命人前往相府查证，果然搜出大量兵器，商家由此遭逢大难。朝中因此掀起腥风血雨，牵连者甚广，徐家自也难逃一劫。查办此事的正是右相高安士，戚怀义从旁协助，而唐初楼作为高安士的乘龙快婿，商徐一案，必也难辞其咎。
此前一年，作为商相变法力助的徐云风已察觉到不对，多次提醒商相无果，于是暗中托人带信给当时已离京的秦放歌，请他去郴州外祖父家中接幼弟云廷及母亲离开，原本他是想连商玉一并送走的，只是商玉坚决不肯，他便只有作罢。