徐阶笑而不语。他致仕已一年余，高拱并没有复出，说明自己的得意弟子张居正听从了他的劝告，这让他感到欣慰。弟子在朝廷掌握实权，继任者李春芳对自己执弟子礼，还有甚可担心的？况且当年调息海瑞上疏事，可谓有大恩于他，他总不至于恩将仇报吧？是以他远不像王世贞那样为海瑞的到来而心存忧虑。
王世贞并不了解徐阶内心所思，“存翁，”他唤了一声，“其实，家里田亩未必要那么多，那些投献的，放贷抵押愿意赎回的，不妨退出去一些。”他知道徐阶乃江南第一大户，仅田产即达几十万亩，加之道路传闻，徐阶子弟暴横乡里，一方病之，如坐水火，诉冤告状者不绝于途，王世贞隐隐替徐阶担心，方才提出了劝告。
“不能中了刁民的奸计。”徐阶不紧不慢地说。
徐阶致仕回籍途中，被徐家鱼肉的民众不辞辛苦到京口去迎，诉苦的状纸一下子就递上三千多份，意在求徐阶做主，约束子弟以泄众忿。谁知徐阶先入徐陟、徐瑛之言，悉为不理，竟命护送他的行人传示镇江知府派兵将围船告状的乡人驱散。乡人没有料到徐阶袒护子弟如此，至是把仇恨转到了他身上，控告徐阶的民众成群结队。这件事在江南传得沸沸扬扬，王世贞为之扼腕，特来提醒恩公。
“退地？说的轻巧，你以为是退二斤米呢？”一个矮胖子正好进来了，听了王世贞的话，怒目相视，大声嘲讽说。王世贞认出此乃徐阶的三公子徐瑛，正要施相见礼，徐瑛抖了抖手中的一叠文书，“元美，你瞧，今年水灾，又有一大批贷款还不上，一万两千亩的地契，又改姓徐啦！”见王世贞愕然，徐瑛不依不饶，“我说元美，你是不是收了那些失地之家的好处，来替他们做说客的？”
王世贞一脸尴尬，心中不悦，索性不理会他。
徐瑛向徐阶面前凑了凑：“阿爹，儿子访得，近来刁民闻得海瑞前来抚吴，蠢蠢欲动，儿子想再招些家丁，阿爹以为如何？”
“不是已有千把人了吗？”徐阶问。
“不够嘞！”徐瑛说，“有几家刁民，得盯紧了，不的，他们又跑出去告状。告状咱倒不怕，惟是对咱家清名有损。”
徐阶不想让王世贞知道这些，不耐烦地挥挥手，让徐瑛出去，对王世贞歉意一笑：“小儿辈意殊不尔，元美不必介怀。”
“存翁，对后辈不可过于溺爱。”王世贞提醒说。
徐阶抖了一下稀疏雪白的胡须，慨然一叹，“老喽，不想再操心了。”