潘祖荫生长于北京，祖籍吴县。他的祖父为乾隆癸丑科状元潘世恩，官封太傅及武英殿大学士。他的父亲潘曾绶，字绂庭，官至内阁侍读。他的叔祖是乾隆乙卯科探花潘世璜。咸丰二年一甲三名进士，探花，授编修。数掌文衡殿试，在南书房近四十年。如今是礼部尚书，此人到是也当得军机大臣的身份，只不过不知是否合拍，潘祖荫累世为宦，家室渊源，酷房，混在书房里头，倒也自得其乐。
恭亲王的意思还要再找几个旗人，于是他又问，“礼亲王如何？还有奕劻。”
“墙头草而已，”沈桂芬说了这么一句话，随即就低头不言语了，恭亲王有些纳罕，正欲追问，却发现沈桂芬的手已经摆在一边，再探鼻孔，已经是离世了。
宝鋆顿时投手顿足嚎啕大哭，恭亲王强忍着眼泪，把沈桂芬的手放回到了锦被之中然后起身出了内室，这时候不是哭的时候，上奏给宫中的遗折，沈桂芬的后世，这都是需要一一打点的，他亲自坐镇沈府，又叫了许多恭亲王府的管事前来帮衬，虽然是人死如灯灭，但是恭亲王的面子顶天，自然官员们不能不给，除了各部尚书王公大臣之外，沈桂芬是道光二十七年丁未科二甲第八名进士，同年的状元是张之万，李鸿章是二甲三十六名，沈葆桢是二甲三十九名，郭嵩焘是二甲六十名。除去逝世的沈葆桢，别的同年就算不在京中，府邸的管事人也要一一派人来慰问，不能失了礼数。
沈桂芬在军机处之中权柄甚大，且多谋善断，自文祥和曹毓瑛死后，实在是军机处第一流的人物，借云南军需案来围攻王文韶借此打击左宗棠就是他最后一次华丽的筹谋，这次行动不仅砍去了左宗棠在军机处的臂膀王文韶，更是将景廉这个原本摇摆不定的人拉到了恭亲王的一边，之后就实在是无能为力了，恭亲王这才昏招叠出，引了一个翁同和进军机处，又把南洋水师公司拱手让给了张佩纶，所换来的不过是让左宗棠离京而已，左宗棠也没有把军极大臣的位置卸下来，只要太后想到左宗棠的好处，一纸诏书就能够把他召回来，也不是致仕返乡养老，算不得全功。
宝鋆鼻涕眼泪的一大把走了进来，他从袖子里掏出了手帕，抹了抹鼻子，显然也是伤心的，“燕公、文山公、曹琢如、朱修伯，还在盛年，就这么一个个的过世，却留下了我这么一个老不死的，何其不公也。”
恭亲王心里也惨然，说起来，这些年身边的得力助手一个个的去世，想起来还真是有些意气萧索的味道，联想到沈桂芬的话，若是挂冠而去，倒也免得落得人员凋零的伤感，只是这个念头片刻就消弭无踪，“小山的死后哀荣我们还是要帮他争一争的，且不忙说这些，佩衡公你身子好，这是福气啊，要好好保重才是。”