李绩不想参与到结党营私当中，只想坐山观虎斗。对李治，他心存感激，但也觉得这不过是李世民与李治的帝王之术，并无多少感激在里面。
他果真在褚遂良与长孙无忌离去之后，便写了辞呈，递交了上去。
李治一再的挽留，李绩一再的坚持。
最后，于永徽元年（650年）十月初三，李治解除李绩的尚书左仆射职务，仍任开府仪同三司、同中书门下三品。
李绩还显得一副很是无奈的样子：“哎，老臣老矣，也不得清闲。”
关于这个信息，长孙无忌觉得，就算没拉拢李绩，看到李绩抽身世外，倒也不错。
而褚遂良，继续调查着皇上去感业寺的真实目的。这看似忠诚的臣子，心里到底在想什么，谁又知道呢？
李绩的事情少了，也有了空闲，便抽身前往感业寺。他回到京城才得知武媚已经奉先帝旨意出家为尼，心中很是不解先帝的所为。
他也听说了一些有关皇上和武媚的传闻，难道这就是先帝一定要让武媚出家的原因吗？虽是继母，武媚与新皇可是年龄相当。
李绩虽是富家出生，也是当过土匪的，他的思想不拘泥于传统。这也造成了他明明看出了长孙无忌的阴谋，却也不愿意插手的原因。他觉得，虽是新皇真有心于武媚，就应该给她一个名份，一个可以遮风避雨的窝。他瞧不起这个连自己心爱的女人都保护不了的新皇。可他哪里知道李治的难处？
他是一个知恩图报的人，当年出征高句丽，是武媚救了他一命，他一直谨记于心。
他身穿便服，单独来到了感业寺，会见了武媚：“武才人，您清瘦了许多。”
武媚淡然的一笑：“李大人今日为何能得空闲，来看望贫尼？”
李绩看了看四周，并无外人：“武才人，老夫如今辞去了尚书左仆射的职务，空挂着开府仪同三司之职。三司之事，自有长孙大人和褚大人操心。我自是清闲了不少。”
武媚眉头紧锁：“李大人，朝廷正是用人之际，你怎可只图自己清闲？新皇登基，朝政之事，必是需要你的。”
李绩脸色有些难看：“皇上可是倾心于您？”
李绩如此直白的问话，让武媚吃惊不小：“啊？这，这……”
李绩又看了看四周：“这里并无旁人，武才人也不必隐瞒于老夫。您曾经救过老夫一命，老夫从未忘记，必不会做出伤害您的事情来。”
武媚坦然：“嗯，贫尼是与皇上两心相印。只是，贫尼并不想让皇上为了贫尼，而在朝堂上难做。”
李绩不解：“皇上往后宫添个妃子而已，有那么难吗？”
武媚的脸色暗下来：“皇上也不是那么好当的。初登大宝，政局不稳，就算是无关紧要的小事，也有可能被有心的人利用。”
武媚的话，让李绩想起了褚遂良与长孙无忌，是那么的挖空心思，要调查皇上与武媚的事情，低下头，沉思了片刻，心中盘算着怎么样才能成全了皇上与武媚的事情。
随后，李绩起身：“武才人且安心静养，自有雨过天晴的那一天。”
武媚将李绩送走，不管他是否能帮到自己，她的心里也是很感激的。当年她救他，完全是一种巧合。换了别人，她依然会救，谁让她本就善良呢？
李绩回去之后，就开始命人调查朝中大臣，看看谁是与长孙无忌和褚遂良不合的。
调查之后，发现一个很有意思的事情，那就是，长孙无忌和褚遂良都是关陇门阀，对他们不满的都是一些受关陇士族所打压的寒门子弟。
李绩悄悄的派人给皇上送了一个口信：“如今关陇门阀独揽朝政，长此下去，终将一发不可收拾。望陛下能重用寒门子弟，以达到制衡关陇门阀的效果。”
他不能写奏折，以免被长孙无忌等关陇门阀中人看到。
李治得到这个消息，很是欣喜，心想：“李大人并没有置朕于不顾，或许暂时的退缩，只是为了麻痹需要对付的人。朕又何尝不知，要想制衡关陇门阀，就得要提携寒门子弟，才能让朕有朝一日能乾纲独断。只是，一切都需要时机。”
为了麻痹褚遂良与长孙无忌，李治从登基之后，就假装着很听话，一切都听之任之。小试牛刀，让洛阳百姓李弘泰（内卫假扮）诬告长孙无忌谋反。一是想试探长孙无忌的反应，二是当他不问其真假就立即下令将其处斩，以博得长孙无忌的信奈。这也让长孙无忌很是满意。
李绩等不了皇上出马，私下找了李义府。
此时的李义府只是一个中书舍人（任起草诏令之职），并无什么实权。他得知李绩找他私下会面，岂有不去之礼。
李义府毕恭毕敬的给李绩行礼：“不知开府仪同三司找鄙人有何事？您若有吩咐，差人送个口信，鄙人定会效劳。”出身寒门，没有背景，想要在仕途上走得更远，怎么会放过任何一个攀附的机会？
李绩看了看李义府那副小人的模样，本想转身离去，心又想：“或许，对付关陇门阀，还就得这样的小人。”
于是，李绩沉默了片刻，小声说道：“你讨好我，还不如想办法讨好皇上。如果能讨好皇上，你还愁没有更好的发展吗？”
李义府两眼发光：“请赐教。”
李绩看了看四周，他好像总是这样警惕，也许是身为将军，多年征战，养成的习惯：“褚遂良与长孙无忌，时常为难皇上，想办法搞倒他们。