有了朝廷正式任命，段思廉终于得以踢开樊子盖，独任剿匪战事。他一改樊子盖的清乡屠杀之策，公开处决了一批杀戮过重，民怨极大的官兵。并与刘弘毅等地方官员会商，事先制定了详细的招抚安置方案，布告全境：百姓被迫为盗，三十日内前来归?者，尽赦其罪，田产享有如初，免本年徭役；擒得贼之头目来献者，lùn_gōng行赏；犯杀人、抢掠、奸淫重罪者，自首可减刑二等；家属遭官兵无辜屠戮或房舍土地毁于兵火者，悉可上报本地官府，按成例予以赔偿抚恤；无家可归，无田可耕者，就于太原附近分拨闲置土地为产，贷给农具粮种，免租调一年。三十日外仍不来归?，视为?抗，复罪如初，决不宽贷。同时集中有限的兵力，针对流寇中的死硬分子进行重点清剿打击。
以抚为主，剿抚并用，团结多数打击少数的宽大政策很快收到了预期效果。流亡的百姓对樊子盖的清乡之举心有余悸，初见布告，疑惧不敢前来，唯有少数人壮着胆子前来投?、自首。段思廉言而有信，果然赦罪放还，照价补偿其损失。对一些无地流民，安置于太原附近。对犯有重罪的自首之人也如约予以减刑。
被迫跟从敬盘陀、柴保昌等造反的百姓闻段思廉言而有信，纷纷来投，如同雪球般越滚越多，一个月下来，基本上都回到了家乡或由段思廉安置到太原附近，还有数十名剽悍勇猛之士感激段思廉的活命之恩，自请在帐下效命。段思廉为避免他们受歧视，全部留在身边担任卫士。百姓闻之，深感汤公待人不疑，更加心悦诚服。敬盘陀、柴保昌等如鱼失水，在官军有组织、有针对性的打击下，很快土崩瓦解。柴保昌投降，敬盘陀兵败自杀。段思廉分兵清剿余部，到六月中旬，绛郡之乱全部平定。驰报朝廷，史元爽下旨嘉奖，增邑二千户，命段思廉率得胜之师，会合云中郡守卫孝节、上党郡守李思行，合兵讨伐为患河东的甄翟儿。
由河北窜犯河东的历山飞魏刀儿部义军，是个令人头疼的主。
魏刀儿，生年籍贯不详，大业十一年与上谷（今河北易县）人王?拔同时起义，到年底部众已发展到十余万人，自称历山飞。大业十二年四月，魏刀儿遣部将甄翟儿率军十万（实际骨干两万左右，其余均为沿途裹挟之众），经井陉窜入河东，分兵侵扰上党、西河，主力则直扑河东军政中心太原，企图一举占领这一府库。义军虽是由平民组成，但毕竟人多势众，首领王?拔、魏刀儿、甄翟儿等劫掠多年，巧于攻城，勇于力战。史称其“南侵上党，以破将军慕容罗喉之兵；北寇太原，又斩将军潘长文首。凭胜两将，所向无前。”
义军进攻太原时，段思廉正全力指挥绛郡平乱之事，无暇北顾，段婉曦、段宗扬、侯世昌结束休假，率骁骑营北上巡哨，城中只有王威、高君雅率部七八千镇守，难以抵挡。段思廉派飞骑行文云中郡守卫孝节，请他南下太原主持大局。卫孝节当即赶赴太原，但也晚了一步，左骁卫将军潘长文和上党驻军将领慕容罗喉贸然率部出战，皆为所败，潘长文战死，太原一度危殆。幸得卫孝节及时率精兵千人入城增援，部署防御，这才令甄翟儿部急切难以攻下太原，转而袭扰其他郡县。
卫孝节为人谨慎持重，知道这十万贼兵与绛郡的叛军一样，多数是走投无路被迫落草的百姓，不能一味使用武力镇压。他明白自己的任务是稳住局面，待段思廉抽出空来，再合计胜之。六月下旬，段思廉平定绛郡之乱，回师太原，与卫孝节共同计议，决定仍采取剿抚并用，分化瓦解之策，命各郡县加固壁垒，组织乡兵加以训练，对义军采取守势，除在其入侵乡村时进行自卫，将其击退外，暂不采取大规模军事行动。同时以在绛郡行之有效的各种宽大政策，招抚迫于生计加入义军的流民和耕农。百姓们见有了活路，纷纷逃亡叛降，回归乡里。到十月底，甄翟儿的十余万大军除河北带来的两万旧部外，全部瓦解。甄翟儿被迫率部退入雀鼠谷，分兵占领两侧十几个山头，守株待兔，劫掠过往客商官饷，以维持生计。
尽管分化瓦解之策取得重大成效，段思廉依然面临着敌众我寡的严峻形势。由于山东、河北、江淮义军日趋壮大，官军损失惨重，朝廷不得不从河东先后抽调精兵二万余人前往增援，又要分兵北方边郡马邑、雁门、云中防御突厥南下，段思廉手上不过五千余人，除骁骑营外均为步兵，同义军相比仍处于劣势。而义军转入山区，凭险据守，难以清剿。好在各地已做好防备，小股袭扰不足为患，而新附流民安置未久，入冬衣食短缺，民生问题实为首要。于是采纳卫孝节的建议，下令诸军转入休整，秣马厉兵；各郡县则全力以赴，保障冬麦播种，调拨粮食、布帛、棉被、木炭等物，接济衣食不足的新户。到十一月中下旬，越冬物资基本落实到位，民心笃定，军队兵精粮足，已无后顾之忧。
这两个月里，段思廉又利用物资南运的机会对义军进行试探和引诱。他深知贼众劫掠出身，经验丰富，十分狡猾，轻易不会出窝挨打。段婉曦便建议?详敌意，利用义军对衣食的迫切需求，故意让他们抢上几次，以骄其心，以懈其备。甄翟儿初时担心有诈，只派小股人马试探性地抢了几票小的，见官军追之不及，于是胆子越来越大，从小几车到十几数十车，最后连上百车的