杨玄感是杨素的儿子。
大隋帝国自开国以来，有两位堪称国家柱石的重臣。一是高颎，二就是杨素。杨素无论文韬武略，还是权势地位，都堪称举世无双，大隋朝也只有高颎能和他相提并论。文帝杨坚曾赞誉他：怀佐时之略，包经国之才。
杨素年轻的时候以文才著称，前朝的周武帝曾让他拟写诏书，杨素信笔而就，片刻即成，而且辞藻华美，义理服人。周武帝十分欣赏，夸奖他说：你若自强不息，何愁不富贵？如果换是别的大臣，听到皇帝夸奖，扣头谢恩就是了。而杨素则挺直胸膛，朗声回答：只恐怕富贵来逼臣，臣无心富贵！杨素那时候已经自负的无以复加。
大隋帝国有四大名将，三个武将是韩擒虎、贺若弼、史万岁，排名第一的却是位极人臣，百僚之首的杨素。
隋军平定江南陈国时，杨素与晋王杨广、秦王杨俊两位皇子并列，同为行军元帅，率领水陆军五十一万八千人，分为八路攻陈。杨素亲自指挥水军，他督造的“五牙”大船起楼五层，高百余尺，左右前后置六拍竿，可容战士八百人，是当时中国最强大的战舰。隋军从长江进兵，东至大海，西到巴蜀，旌旗招展，舟楫布满江面，绵延数百里。仪表堂堂、身材魁梧的杨素意气风发，安如泰山端坐于旗舰的甲板之上，陈国人望之又敬又畏，都赞叹道：清河公真如长江之神啊！平陈大捷后还师后，杨素因战功卓著被封越国公，以其子杨玄感也随着父亲高升，被封为仪同。
后来杨素又领兵又次第平定南方豪族、巨寇的叛乱，并与高颎一起在北方大败突厥达头可汗。杨素在此战中，摒弃了汉家军队常用的车、骑、步兵结阵相卫的传统战法，大胆使用骑兵与突厥骑兵对攻，取得大胜，再一次显示了杰出的军事才能。战后，隋文帝下诏褒奖，赐杨素绢二万匹，及万钉宝带。杨玄感又一次跟着借光被封大将军，他的另外几个儿子杨玄奖、杨玄纵、杨积善皆被封仪同。杨素工于诗文，留下来的诗有十九首。气势雄浑的《出塞》一诗正是他当年征战大漠时所作：漠南胡未空，汉将复临戎。飞狐出塞北，碣石指辽东。冠军临瀚海，长平翼大风。云横虎落阵，气抱龙城虹。横行万里外，胡运百年穷。
除了文韬武略，杨素还有一个优点，就是爱惜人才，有成人之美。他家里出现过三次姬妾给他戴了绿帽子的事情，杨素竟然毫不计较，把她们一一送给了有情之人。
陈后主的妹妹乐昌公主，才貌都极为出色。陈朝灭亡后，乐昌公主就成为杨素的姬妾，杨素对她非常宠爱。乐昌公主的丈夫叫徐德言，当初就对妻子预言：以你的才华和容貌，如果国家灭亡了，你一定会流落到有权有势的富豪人家。倘若我们夫妻的缘分没断，应该有一个信物。便折断一面铜镜，夫妻两人各拿一半。又同妻子约定说：将来你一定要在正月十五那一天将镜片拿到街上出售，如果我见到了，就会去找你。后来夫妻分离，徐德言流离失所，好不容易才来到京城。他于正月十五这天到市场上寻找，果然有一个仆人模样的老头在出售半片铜镜，而且要价高的离谱，人们都嘲笑他。徐德言拿出自己那一半镜子和老头卖的那半镜子合在一起，并在镜子上题了一首诗：镜与人俱去，镜归人不归。无复姮娥影，空馀明月辉。让他把诗镜都带了回去。乐昌公主看到题诗以后，伤心欲绝。杨素了解情况后也非常伤感，派人将徐德言找来，决定将妻子还给他，并送给他们许多钱物。临别时，杨素设酒宴为徐德言和乐昌公主饯行，并叫公主也作一首诗。公主尴尬的写道：今日何迁次，新官对旧官。笑啼俱不敢，方验作人难。听说这件事的人无不赞叹的杨素的襟怀。
有个官宦子弟叫李百药，少年倜傥，看上了杨素的一个宠妾。竟色胆包天，夜入杨宅，与之幽会私通。结果东窗事发，被杨素逮个正着。杨素大为恼火，欲治李百药死罪。可当李百药被推上来时，他发现李百药还不到二十岁，是个英俊聪颖的翩翩少年，不禁惜才之情顿起，动了恻隐之心说：听说你善文，可作诗自叙，写的好当可免死。李百药生死关头，文思泉涌，洋洋洒洒，一气呵成。杨素看完，大为赞赏，当场把爱妾赐给李百药为妻，又给了他们一大笔钱。后来杨素竟又奏请隋文帝，授李百药为尚书礼部员外郎的官职。李百药财色兼收，还因此当了官，成为杨素成人之美的又一个佳话。
杨素成就的第三对夫妻就更厉害了，他身边有一位年方二八的乐伎，名叫红拂，色艺双绝，一时无两。红拂心怀大志，慧眼识英，看上了来拜访杨素的一介布衣李靖，二人一见钟情，竟相约私奔了。杨素非但不追究此事，反而推荐李靖出任马邑的郡丞。这件事办的更漂亮，杨素不仅仅是成全了一对才子佳人，还为大唐王朝留下了一位开国元勋，一代英武战神。
杨素绿帽子戴了左一顶又一顶，成人之美这事被他做到了极致。俗话说宰相肚里能撑船，杨素做过尚书右仆射，这个官职就相当于宰相，而他肚子里的船，一定是当年他自己建造的五牙大战船。
杨素对姬妾布衣宽厚，但在朝堂之上性格十分却高傲，朝臣之中，也只看得起高颎。与其他大臣稍有过节的，定会百般为难。世人评价他：论其才华横溢、fēng_liú倜傥，优于高颎，论老成稳重、治理国家