光阴荏苒，时间到了大业六年，大隋王朝的车轮已经走过了最强盛的大业六年。在大业六年这一年，大隋皇帝杨广率领五十万大军御驾亲征吐谷浑，在覆袁川大败吐谷浑，拓疆数千里，向西置西海郡、河源郡、鄯善郡、且末郡、伊吾郡、北庭郡。
大隋皇帝杨广随即在张掖举行万国交易大会，来自西域数十个国度的国王前来朝觐天朝圣人可汗，使大隋王朝达到了强盛的顶点。
但仿佛就是上天对大隋王朝盛极而衰的暗示，皇帝车驾在途经大斗拔谷之时，七月盛夏突降暴雪，暴风雪袭击皇帝队伍，一夜之间冻死数万人，马驴皆冻死殆尽，身体羸弱的皇太子杨昭也不幸在这次暴风雪袭击中染上重病，最终没有能返回中原，病死在青海湖边。
大隋王朝走过了强盛的顶点，开始迅速由盛转衰，大业六年，一场前所未有的春夏连旱袭击了山东数十郡，灾情遍布黄河两岸和河北大地，这是一场百年未遇的大旱，严峻的灾情考验着大隋王朝。
而也就是在这一年，越国公杨素病死。随着杨素的死，强盛一时的杨家也陷入到了衰弱当中，而正是杨素的死，给了杨广打压杨家的机会，而恰恰是杨广的打压造成了杨玄感造反的直接原因。
杨素出身士族，祖父杨暄，官至北魏辅国将军、谏议大夫。父亲杨敷，为北周汾州刺史。杨素“少落拓，有大志。不拘小节”。
时人多未知之，唯其从叔祖北魏尚书仆射杨宽深异之。每次在子孙面前提起杨素时总说：“处道当逸群绝伦，非常之器。非汝曹所逮也”。
后与安定人牛弘同窗共读，知识渊博，在文学、书法上均有造诣，史书称其“研精不倦，多所通涉。善属文，工草隶，颇留意于风角。美须髯，有英杰之表”。
时北周大冢宰宇文护把持朝政，引其为中外记室。后转礼曹，加大都督。北周天和七年(公元572年)三月，北周武帝宇文邕诛杀宇文护亲掌朝政，杨素因曾受到宇文护的重用，所以遭到株连。此时，杨素以其父杨敷死于北齐，但未受朝廷追封，便上表申诉。周武帝不理。杨素再三上表，周武帝大怒。下令杀杨素。杨素高声地说：“臣事无道天子，死其分也”。
周武帝闻后，对杨素刮目相看，赦其无罪。并追赠其父为大将军，谥忠壮。拜杨素为车骑大将军、仪同三司，并逐渐对其有了好感。周武帝又令杨素起草诏书。素下笔成章，文词华丽。周武帝赞扬道：“善自勉之，勿忧不富贵。”而杨素却回答说：“臣但恐富贵来逼臣。臣无心图富贵”
北周建德四年(575年)七月，周武帝率军攻北齐，杨素请求率其父旧部为先锋，周武帝从之，赐以竹策，并说：“朕方欲大相驱策，故用此物赐卿”
杨素随齐王宇文宪攻北齐河阴，因功封清河县子，邑五百户，同年授司城大夫。
北周建德五年(576年)十月，杨素再次随宇文宪攻北齐，克晋州。宇文宪屯兵栖原，北齐帝高纬率诸军自晋阳向晋州进发。宇文宪闻北齐军主力至，大惧，乘夜而逃，结果为北齐军追上，北周军多被击溃。杨素与骁将十余人尽力苦战，宇文宪方得以解围。此后，杨素更是屡立战功。北齐灭亡后，杨素加上开府，改封成安县公，邑千五百户，赐以粟帛、奴婢、杂畜
北周建德六年(577年)十月，陈宣帝陈顼闻北周灭北齐，即乘机争夺淮北地区，遂派名将吴明彻率军北伐。吴明彻军至北周吕梁(今江苏徐州东南)，击败徐州总管梁士彦，进围彭城。北周建德七年(578年)二月，杨素随上大将军王轨前去救援，最终大破陈军，俘主将吴明彻。杨素遂治东楚州事。其弟杨慎被封为义安侯。陈将樊毅筑城于泗口，杨素将其击走之，并将所筑之城全部毁坏。
北周宣政元年(578年)六月，周武帝去世，周宣帝继位。宣帝即位后，杨素袭父爵临贞县公，并以其弟杨约为安成公。北周大象元年(579年)，杨素随上柱国韦孝宽攻陈淮南，其中杨素率军攻克盱眙、钟离。
北周大象二年(580年)五月十一日，北周宣帝宇文赟病死。周静帝宇文衍年幼，左丞相杨坚专政。杨素知杨坚甚得众心，且有称帝之意，遂主动投到杨坚门下，与其深自结纳。杨坚也知杨素之才，对其也非常器重，不久便以杨素为汴州刺史。
杨素在上任途中行至洛阳时，方知相州总管尉迟迥等举兵反杨坚。六月，尉迟迥恐杨坚专权对北周不利，公开起兵反对杨坚。荥州刺史宇文胄据武牢以应尉迟迥，使杨素无法前行。
七月十日，杨坚调发关中兵，令韦孝宽为行军元帅，杨素与郕公梁士彦、乐安公元谐、化政公宇文忻、濮阳公宇文述、武乡公崔弘度、陇西公李询等皆为行军总管，率军讨伐尉迟迥。
北周大定元年(581年)二月，大丞相杨坚受禅登基，改元开皇，是为隋文帝，并加杨素上柱国。并参与了隋朝法律的修定。开皇四年(584年)，拜御史大夫。由于其妻郑氏是个悍妇，杨素一次与其吵架说了一句：“我若作天子，卿定不堪为皇后”。结果被其妻告发，杨素因此获罪，并被免官。
此次经历，险些毁了杨素的前途。好在隋文帝一直准备灭亡陈朝，统一中国，杨素曾数次献伐陈之策，此次被免官后，杨素并没有闲著，再次献伐陈之策。开皇五年(585年)十月，杨素任信州总管，经略长江上游。并赐钱百万、