惊魂未定的宇文化及到达了彭城郡，准备取水道回长安。可是很快，他发现了一个问题。
因为多年的战乱，杨广修建的大运河，多处已经不通了。尤其是彭城郡地靠山东，遭受的战乱不少。
经过一番激烈的争吵，宇文化及果断决定：夺取当地老百姓的车辆，走陆路！车辆主要用来盛美女和珍宝。至于武器辎重嘛，则由士兵来背负。从彭城到关中，路途极其遥远；别说背着这么多东西走路了，就是骑马也能把人累个够呛。因此，将士们议论纷纷，言语中充满怨恨，这个时候，有一个人开始蠢蠢欲动。
此人便是江都兵变和镇压了沈光等人兵变的最大功臣——司马德勘。
司马德勘为什么造反？
因为这位“轻薄公子”不仅没有半点能耐，而且骄奢之状比杨广有过之而无不及。
宇文化及不仅将杨广的六宫嫔妃都据为己有，而且龙舟队的一切排场都刻意模仿杨广，可是，他却没有杨广的那番才能，仅是他在日常政务中的表现就足以让人大失所望。
他每次进入大帐的时候，总是大大咧咧地面南而坐，俨然把自己当成了帝王。更令人愤怒的是，他架子虽然摆得很大，可百官凡有进奏，他却一概保持沉默，什么话也不说。
这样的沉默是代表睿智和深沉吗？
不是，他的沉默并不是代表他的睿智和深沉，而是胸无韬略、不敢决断。
每次下帐后，宇文化及马上会召集唐奉义、张恺等一帮心腹，商量百官所奏议的事，等别人帮他出了主意，他才命人拟就相关诏书，拿去让杨倓签字。
大伙把脑袋别在裤腰上搞政变，到头来拥护的居然是这么一个既骄矜又无能的笨蛋，怎能不令众人齿冷血热？！
司马德戡第一个跳了起来。他埋怨当初主张拥护宇文化及的赵行枢说：“我被你害惨了！当今要拨乱反正，必须依靠一个英明的领袖，可宇文化及昏庸愚昧，又被一大群小人包围着，大事必败无疑，你说该怎么办？”
司马德戡之所以跳起来，其实也不完全是出于公心。
还有一层原因他没说。
那就是宇文化及并不信任他。
宇文化及总揽大权之后，封司马德戡为温国公、加光禄大夫，几天后又调任礼部尚书。表面上加官进爵、极为尊崇，实际上是褫夺他的兵权。司马德戡大为不满，只好把所获的赏赐全都拿去贿赂宇文智及，通过他向宇文化及说情，好不容易才重新掌握了一点兵权——负责统领一万多人的后军。
但是这点兵权其实也是不稳固的。因为宇文化及始终防着他，哪一天要是把他兵权卸了，司马德戡就彻底任人摆布了。
所以司马德戡不得不先下手为强。
听完司马德戡的牢骚后，赵行枢两眼一翻，道：“这全看我们自己了，要废他也不是什么难事！”
于是兵变的计划就这么定了下来。
但是司马德戡还是有些信心不足。因为宇文化及现在是大丞相，手里掌握了十几万军队，而他只有区区一万多人。万一暗杀不成，双方开打，司马德戡的胜算并不大。为了保证计划万无一失，司马德戡决定找一个外援。
他找的人是其时盘踞在济阴郡周桥一带的变民首领孟海公。
司马德戡给孟海公写了一封信，此后一直在等待回音。
然而孟海公一直没有回音。
兵变的时机就这么在焦灼的等待中流逝。
而司马德勘却不知怎么的将此事泄露了出去，宇文化及很快得到了消息，于是设计逮捕了司马德戡。
计划中的兵变就此流产。
杀司马德戡之前，宇文化及问他：“你我同心协力、共定海内，冒着九死一生的危险。而今大事方成，正是共享富贵的时候，你为何又要谋反？”
司马德戡说：“我们之所以诛杀杨广，是因为无法忍受他的荒淫暴虐，没想到阁下的所作所为比他还要严重！情势所迫，不得不如此。”
随后司马德戡便被绞死，同党十多人也全被诛杀。
而此时，杨广被宇文化及杀死的消息，已经向各处传去。
首先做出反应的是时任吴兴郡太守的沈法兴。
当时沈法兴正在努力围剿东阳郡一带的变民，一听说杨广被宇文化及诛杀，立刻起兵，以讨伐宇文化及之名，出兵攻击江都。
而这时，原来称梁王的萧铣也正式称帝，并迁都江陵，随后派遣各路军队大举向南扩张。
杨广被弑的消息传至长安，李渊仰天恸哭，十分伤心地说：“吾北面事主，因关山阻隔而不能救，但实在不敢忘却悲哀啊！”随即，杨广谥炀皇帝。不久之后，十三岁的隋恭帝杨侑将皇位禅让给唐王李渊，自己回代王府居住。几日后，五十三岁的唐王李渊在太极殿登基称帝；同时祭天、大赦，改元武德。同日，唐政府将隋朝的郡县制改为州县制，命现有管辖范围内的各郡太守一律改任州刺史；并按五行关系推演，推定唐朝属“土德”，以黄色为最高贵的颜色。
随后，李渊命裴寂和刘文静修订律法，并设置国子学、太学、四门学，招收生员三百多人，命所属各州县同时置学招生。并任命李世民为尚书令，裴寂为右仆射、知政事，刘文静为纳言，萧、窦威为内史令，裴晞为尚书左丞，李纲为礼部尚书、参掌选事，窦琿为户部尚书，屈突通为兵部尚书，独孤怀恩为工部尚书，陈叔达、崔民幹为黄