李玄霸进宫之后，杨广召见了裴蕴，大多数人都比较聪明，听说李玄霸是独自进宫的，便选择继续保持安静。也有些人年纪大了，脑袋有些糊涂，高估了李玄霸的胆魄，认为陛下已经知道逆贼之事，便贸然进宫，参了裴蕴一本。
纳言苏威乃是两朝元老，在杨广登基后的前几年，一直深得杨广信任，虽被贬过几次，但最终还是官复原职，后来更是身兼数职，并被任命开府仪同三司，一时权贵，无人可比，不少官员都依附于他。
当时，他与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，时人称为“五贵”。
不过，去年杨广回到东都后，曾询问天下逆贼之事，满朝文武皆不敢言，杨广便逐一询问，连宇文述都声称天下逆贼渐少，不敢道出实情。
杨广问到苏威时，苏武犹豫了一会，答道：“臣不知天下逆贼有多少，但知道他们已经越来越近。”杨广细问之下，苏威又答道：“盗贼以前占据长白山，现在近在荥陽、汜水一带。”杨广闻言，虽然没有多说什么，脸色却极为难看。
苏威知道自己已然得罪杨广，不过为了朝政，依然没有退缩，献上一部《尚书》，规劝杨广，惹的杨广更加不高兴。但杨广明白苏威忠于自己，并没有疏远他。
直到后来，杨广以征伐高句丽之事询问苏威，苏威说赦免群盗，让他们去讨伐高句丽，杨广恼怒之下，渐渐疏远了苏威。
苏威上了奏折，杨广并不理会，反而消除了他心中对裴蕴的怀疑。
几日之后，裴蕴利用陛下不喜苏威，让白衣张行本告苏威往日在高阳主持选举时，滥授别人官职，又说他害怕突厥，请求回到京师。
杨广下令调查这些事，有裴蕴从中作梗，自然坐实了苏威的罪名，杨广没有给苏威任何解释的机会，直接除去苏威所有官职，让他成了普通百姓。
李玄霸听到这件事时，只觉得心中甚寒，对于杨广的认识，更多了一些，同时，也意识到了裴蕴在杨广心中的地位。
裴蕴用了几天时间，便让苏威被罢了官职，这件事也让其他朝臣变得胆寒起来，除了裴蕴主动提起逆贼之事，再也没人敢上奏了。
但是事情远远没有结束，以前那些依附苏威的官员，一个个都被裴蕴抓住了把柄，最终还能留在朝堂上的人，已经屈指可数。
唐国公府中，李玄霸跟着魏征学习了半个多月，对于朝廷官制、天下郡县有了大致的了解。听闻朝中的大臣一个个被免职，李玄霸叹了口气，说道：“是我让局面变成现在的样子，没想到我不仅没有帮到陛下，反倒害了不少忠臣。”
魏征安慰几句，说道：“苏大人尽心尽责，竟落得这样的下场，确实有些让人寒心。不过陛下还念一些旧情，没有伤害苏大人，公子也不必太过自责。”
经历过苏威一事，魏征对李玄霸的感激更深了。如果当初李玄霸不阻拦他，而是带着他进宫面圣，只怕他已经变成一缕亡魂了。
“以前，很多人说，陛下宠爱我，那时候我一无所知，并不相信。后来，又有许多人说，陛下脾气不好，我又不信，现在我什么都信了，可惜有些迟了。”李玄霸落寞的说道：“陛下这么久没有召见我，想必心中对我已经有了怀疑了。”
杨广曾打算让李玄霸到军中学一些东西，不过苏威出事之后，杨广再也没有提及此事，甚至都没有召见过他。
“有萧皇后和公主在，公子无需担心。”魏征说道：“只是，一个多月前，翟松柏在灵丘起兵，众达数万人，侵扰附近各县，已渐渐形成一股势力。这样大的事，已经没人敢告诉陛下了。”
“现在人心惶惶，谁还敢多嘴？”李玄霸随口答道：“听说前几日，真腊国送了些土特产给陛下，只怕会让陛下更加笃定天下太平了。”
“宇文将军奉命剿灭流寇，济北公携虎狼之师，已经离京两个多月，难道陛下还没有发现问题？”魏征有些气急败坏的说道：“如果那些逆贼盗匪，真像裴大人说的那么容易剿灭，两位大人早该回到洛阳，接受陛下的赏赐了。”
“成都是聪明人，知道有些话不能对陛下说，只能瞒着陛下，自己偷偷的做了，倒是辛苦他了。”李玄霸想到宇文成都，心生敬佩，顿了顿，继续说道：“济北公更是对陛下忠心不二，他被陛下责罚一番后，必然会意识到无法劝说陛下，也只能私下为陛下分忧了。”
“公子学了半个多月，已经有了谋士之风了。”魏征见李玄霸随口便说出宇文成都与樊子盖的用意，赞道：“若是让天下人知道，当初的大隋第一勇士，变成一位城府颇深的智者，只怕会惊讶万分。”
“都是先生教的好。”李玄霸笑了笑，说道：“可惜知道这些，于当前的形势又有何用？正如先生当初所言，陛下不自省，我们什么都做不了。”
两人又谈论了一会，魏征便回房休息去了，李玄霸苦思良久，内心依然郁结。
第二日，终于发生了一件好事，李兴将魏征的家眷接到了洛阳。
刚回府里，李兴没来及向李玄霸禀告，便让下人赶紧准备些饭菜，待李玄霸闻讯赶到偏堂，只见一群人如同饿狼一般，将桌子上的饭菜一扫而空，看他们的神色，竟似没有吃饱。
李玄霸一进偏堂，李兴便起身行礼，其余众人得知李玄霸身份，也连忙站起来行礼