司马德戡等人都从未想过要杀杨广，只是一门心思想逃回关中而已，这时听了宇文智及之言后，都是大惊。
但司马德戡等人细细一想，觉得宇文智及说的也不无道理，毕竟如果就这么逃跑的话，窦贤的前车之鉴可就近在眼前，他们可不想像窦贤那样，让杨广将头颅挂在城墙上。
于是，在思虑再三后，司马德戡等人都同意了宇文智及的意见。
赵行枢、薛世良要求由右屯卫将军许公宇文化及为首领，因为宇文述的关系，宇文家在军中素有威望，其他人也都同意了，他们这些人协商定了之后，才一切前去告诉宇文化及。
宇文化及性听说后，脸色顿时大变，直冒冷汗，他在江都的日子过得美滋滋的，要什么有什么，可不想造杨广的反，不过他虽有心拒绝，但见司马德戡等人都一副气势汹汹的样子，他要是敢说半个“不”字，只怕会被他们给乱刀砍死。
宇文化及不敢不答应，最后只好选择了听从司马德戡等人的安排。
司马德戡让许弘仁、张恺等人去备身府，对认识的人散布谣言道：“陛下听说骁果想反叛，酿了很多毒酒，准备利用宴会，把骁果都毒死，打算只和南方人留在江都。”
骁果兵听后，都很恐慌，互相转告之下，许多人都有了反叛之心。若是一般的士兵，出于对皇权的敬畏之心，或许不会那么容易做出反叛杨广的决定，不过这些骁果兵却有点特殊。
江都城这十几万骁果兵，大部分的骨干人物都是当年参加雁门关防御战的，那时杨广为了激励士气，在雁门关对众人许下了丰厚的奖励承诺，然而事后却反悔了，一万七千余人拼命换来了战功，却仅仅奖赏了其中的一小部分人。
一万多人对杨广仇恨的种子，便是在那时埋下的。
之后，因为在雁门关之战中骁果死伤惨重，所以杨广便以那一万多人为骨干，又招募了十几万骁果，不久便带着他们到了江都……
因着此前对杨广原本的恨意，所以此时众人在司马德戡等人的扇动下，才这么毫无心里阻拦的就答应了反叛。
四月初十，自觉得发动叛乱准备了半月有余后，司马德戡召集全体骁果军吏，宣布了发动叛乱的计划，军吏们都齐声道：“全凭将军的吩咐！”
当天，大风刮得天昏地暗，黄昏，司马德戡偷出御厩马，暗地打磨生锈的武器，分发兵甲，进行着叛乱前的最后准备之事。
傍晚，元礼、裴虔通在下值班，专门负责大殿内；唐奉义负责关闭城门，唐奉义与裴虔通等商量好，各门都不上锁。
这场惊天的叛乱，即将发动。
司马德戡等人的行事并未做过得的保密举措，故而他们将要叛乱的消息为江阳县长张惠绍所得知了。
张惠绍于是飞驰去通告了裴蕴，裴蕴与张惠绍一番商量后，决定假称圣旨调江都城外的军队逮捕宇文化及、司马德戡等人，敲开城门援救炀帝。
二人商量这么商议好后，转念又觉得假冒圣旨的罪责太大，有些担待不起，于是决定派人报告此时群臣中权势最大的虞世基，由虞世基来做那个决定，这样就不怕事后被杨广责罚了。
然而，虞世基在得知消息后，却怀疑谋反的事不真实，压下来始终没有答复裴蕴等人，所以裴蕴与唐奉义等人一直干等了许久，也没能等来想要的消息，白白错过了最后挽回危局的机会。
四月十一日三更时分，司马德戡在东城集合数万人，点起火与城外相呼应，然后分兵把控各处要道，正式发动叛乱，杨广这时忽然惊醒，看到火光，又听到宫外面的喧嚣声，询问发生了什么事。
宿卫大殿的裴虔通回答：“草坊失火，外面的人在一起救火呢。”当时宫城内外的要道已率先被司马德戡等人派兵隔绝，杨广听后便相信了，继续返回龙床睡觉。
不久，宇文智及和孟秉在宫城外面集合了一千多人，劫持了巡夜的候卫虎贲冯普乐，布署兵力分头把守街道。
杨广的庶长孙燕王杨倓发觉情况不对，晚上穿过芳林门边的水闸入宫，到了玄武门，江都的玄武门也如长安的玄武门一样，为进出皇宫的要道，杨广曾挑选了几百名勇猛矫健的官奴，安置在玄武门，称为“给使”，以防备突然发生的情况，待遇优厚，甚至把宫女赐给给使。
统领那些玄武门“给使”的，是司宫魏氏，她虽为宫中女官，但颇有武艺，且善于迎合杨广，故而很得杨广信任
宇文化及知道魏氏的重要姓，早早就以重利勾结她作内应。所以在事发这天，魏氏假称圣旨放全体“给使”出宫，致使此时仓促之际，玄武门没有一个给使在场，便被宇文化及的人给控制住了。
燕王杨倓此时到了玄武门之后，向看守的军士假称道：“我突然中风，就要死了，请让我当面向皇上告别。”
裴虔通等人可没那么好骗，并没有为杨倓通报，反而派兵把杨倓关了起来。
十一日黎明时分，江都城的各处城门、重要街道已基本被叛军控制，开始向皇宫进发。司马德戡交给裴虔通兵马，用来替换各门的卫士中仍忠于杨广的人。
裴虔通由宫门率领数百骑兵到成象殿，值宿卫士高喊有贼，于是裴虔通又返回去，关闭各门，只开东门，驱赶殿内宿卫出门，宿卫纷纷放下武器往外走。
右屯卫将军独孤盛这晚也正在宿卫皇宫，看着驱赶宿卫的人对裴虔通