对于流言，卢振听了从不放在心上, 他觉得自己没有错。
纵然事情变成了这样, 但他亦是无奈的, 做为一个男人, 不管是吴氏还是周氏，他已经尽力担起了责任，就是有人怪自己也没有办法。
吴氏是自己的发妻不错, 自己还清楚地记得她初嫁时那娇羞的脸, 只可惜两人美好的时光很短暂, 家里太穷, 他不得不从军找个出路。而战事结束自己立下军功后的的确确派人去接她, 老人们常说贫贱之交不可忘, 糟糠之妻不下堂，这道理他还是懂的。
可吴氏却不在家中, 派去的人传回了她已经改嫁的消息, 自己才另娶了周氏。虽然后来得知吴氏并没有改嫁, 可是她当时肯定没有在家里，否则派去的人怎么没有找到？一个妇人, 丈夫不在家中, 不好好地守着门户，这本就是大错吧！也是因此才有了后来的周氏，只能说是天意弄人。
卢振自己也承认，有了周氏后他就越发看不上吴氏了。现在细想起来，其实周氏未必比吴氏美貌，可是那时她通身的气派、绰约的风姿，一下子就将自己迷住了，觉得吴氏给周氏拾鞋都不配，毕竟周氏身边的丫头也个个打扮得软玉娇花一般，言谈举止都比吴氏文雅可爱多了。
因此那时节，每每看到吴氏苦着脸出现在自己面前时，他心里就很嫌弃。特别是吴氏哭哭啼啼地想再要一个孩子，而自己帮她达成了心愿后，就更觉得不再欠她什么了。自己从来没有休弃过她，只是阴差阳错才会如此罢了，只要自己养着她，也就尽到了丈夫的本份，若是她再觉得有什么不公平的，也只得问老天爷了。
至于周氏，卢振当初是真心怜惜的。在周府的宴饮中，自己酒醉误入了指挥使府后宅，坏了她的清白，她险些就要投缳自尽，当时自己的心都要碎了。因此只听得吴氏改嫁了，便连想也没想就立即向周家下聘。
谁想到，就是那一个酒醉误事，周氏就怀了孩子！急忙办了亲事遮掩过去，就有虎台县的同乡传来吴氏并没有改嫁的消息，周氏真是哭得肝肠寸断，自己只得安慰她，从此后只认她是正妻。
但周氏本性就是极贤良的，她擦干了眼泪，将吴氏接了过来，让她住在正房，自己退居佛堂，斩断了与自己的夫妻情缘。
卢振哪里能忍心？可是周氏那样的坚定，先让贴身丫头服侍自己，后来又给自己纳了几个美妾，因此吴氏生了铁石，他见周氏内疚得不好意思抬头，也因而对铁石生了莫名的不喜。
而那孩子，果然是个不省心的。周氏慈爱地将他接来与铁城、铁垣一同读书习武，可他非但不肯用功，还时常打架滋事，小小的年纪就敢从府里偷跑出去走几十里路回家。有时卢振瞧见二儿子看向自己的目光，竟觉得这个儿子把自己当成仇人一样。
儿子不懂事，但当爹的总不会真不管他，卢振便想好了，二儿子难成大器，就让他留在家里过平常的日子吧，等他十八岁时自己给他买一百亩地，再娶个媳妇，也就尽到了当爹的责任。
可是，卢振终究还是管不了这个从小没有身边长大的儿子，在吴氏的纵容下他一直习武，拿定主意要从军。只为了自己说一句他不会骑马，竟敢偷了自己的马跑出去，差一点摔成残废。
那时卢振还曾想过，如果他真摔残了也不是坏事，这孩子生性暴戾、胆大妄为，周氏也曾说过他将来弄不好会给家里惹出事非，如果残了便留在虎台县度日，总能安稳一生。
可是他终究还是养好了伤从军去了，没有靠自已帮一点的忙，甚至也没通知自己，他便去了多伦，那个华夷混居时有战乱的地方，然后在那里成长起来。他的军功令一向严苛的自己都不由得赞叹，更不必说军中的那些将领们了。大家纷纷在自己面前夸奖，而那个一直与自己颇有些心结的孙老指挥佥事也羡慕不已，每次见了自己都要酸酸地道一声“真是虎父无犬子呀！”谁都知道他的儿子酒囊饭袋一般，将来孙家注定会没落的。
每到这个时候，卢振又是高兴又是有些别扭。大约因为铁石对自己一直以来的种种违逆吧，他不自觉地打压了他好几次，不过他明白自己的内心深处，其实是希望他被打压后能够来到自己的面前承认错误，那样自己就会对他如铁城铁垣一般的亲近，好好地扶植他，让他在仕途上走得更顺利。
卢振很快就明白了，自己的美好愿望都是不可能的，铁石非但没有亲近自己的任何意思，而且只把自己当成两世旁人。他到安平卫办公事，见了自己一如外人，从来不进自己家中，甚至多一句话都没有。
因此周氏提出要将娘家的侄女许给铁石时，卢振立即就点了头。这个女孩虽然生母身份低了点儿，但毕竟是周家的血脉，听说容貌品德也都是不错的，铁石娶了她便与指挥使府上直接成了亲戚，与自己也能更亲近几分。
结果亲事没成，卢振到了这时才知道铁石自己看中了一门亲，而且已经下了聘。婚姻之事原是要从父母之命的，可是卢振几次想骂儿子，最终还是没有，他长大了，翅膀硬了，根本不会听自己的。不过他还是去了一次虎台县，给吴氏讲明了道理，让她去管自己生的儿子。
可铁石那个犟脾气，就是他娘说了也没用，卢振再接吴氏让人捎的信，便是告诉他到虎台县参加儿子的亲事了。
虽然对铁石的新媳妇不大满意，听说家里原是乡下人，