杨御荫早逝，杨御蕃中人之姿，在杨肇基逝去之后，杨家威势便不如往昔。后来孙可望成功偷袭扬州，杨御蕃奉命集结临沂周边卫所兵南下增援，在淮安与贼军对峙。但不久之后，刘泽清反叛，尽取山东西三府之地。
卫所兵战力本就不强，纪律散漫，且乡土观念特重。听闻家乡被贼军所攻的消息后，还未等杨御蕃下令后撤，便直接逃散了大半。李定国趁势猛攻，大败杨御蕃，并将他手下的数千残军围困在宿迁城中。
杨御蕃在内没有足够的粮草，在外没有一个援兵的情况下，举旗投降。李定国率部北上，遇到抵抗，就令杨御蕃阵前劝降。其父杨肇基威名震天下，而杨御蕃所统帅的大军是在淮南的最后一支官军。看到他来劝降，纷纷献城。李定国兵不血刃收复睢宁，邳州等地，最后连徐州也收入了囊中。
当杨御蕃的所作所为传到京师的时候，群情激奋，弹劾如云。崇祯帝念及杨肇基以往的功绩，并没有追究他的家人，但将杨御蕃和杨衍两人列入罪臣名单，赏银一千两取其头颅。
杨家为地方大族，虽然杨肇基之妻杨老太太直接宣称将杨御蕃和杨衍逐出家族，但一般人仍视他们为罪臣之家。特别是那些随杨御蕃出征而战死的将士们的家属，每日都要在杨家门前闹上几次。
在周显率部到达临沂的时候，杨家已是人人喊打的过街老鼠。但即使在这样的情况下，杨老太太却在临沂被围的时候，拿出半数家产襄助守城。并开办粥场，救济灾民。
周显得知了杨老太太的壮举之后，深感敬佩。便亲自去拜访了住持杨家事务的杨老太太，并祭拜了杨肇基。这之后，在周显的主持下，杨家拿出一些银子给予那些战死将士的家属。同时，周显严令达成一致后，不得再骚扰杨家。
这件事也算是解决了，当时周显算是无心之举，但后来却收到了意想不到的结果。
隆武建朝，为了限制孙可望的权势，启用了不少以前归属于朝廷的将领，杨御蕃便是其中的一个。他得以重新掌管军队，虽说人数不多，只有三四千弱卒，但有了一定的独立性。他派人到山东联系周显，提出愿意重归朝廷。
周显对此当然十分乐意，他派人告诉他让他寻机北归，自己会派出军队接应。但不久前，隆武帝下令调杨御蕃前去扬州。杨衍借机与杨御蕃大闹一番，率亲信数百逃离驻地，最终逃回临沂，被当地守将解送到济南。