每个朝代都有自己的一代军神，比如秦之白起王翦，汉之韩信卫青，唐之李世民李靖。而统一南北朝乱世的大一统王朝隋朝，似乎没有一个在大家印象中大名鼎鼎的顶级统帅。事实上隋朝是有这样一位存在的，而且是百战百胜。但是他出于自身复杂的性格和一些争议性行为，使得自己不但没有享受到一代军神的赞誉，反而被冠上过“隋朝第一奸臣”的名号。
从585年开始，杨素被调到长江防线，筹备伐陈战争。他与尚书左仆射高颎、吴州总管贺若弼、光州刺史高劢、虢州刺史崔仲方等人献平陈之策，建造“五牙”和“黄龙”等战船，积极打造水师。588年，杨坚组织起号称51万的南征大军，由杨广担任名义总指挥，杨素担任水师统帅，出巴东郡顺流东下。
杨素同时用骑、步、船三军分袭敌方水陆据点，水战突袭大胜陈军。他充分发挥两岸步骑协同作战的优势，摧毁了陈朝的长江舰队。杨素还实行优待俘虏等政策，有效瓦解了南朝军民的斗志。看到杨素端坐在平乘大船之上，容貌体魄雄健魁伟，陈国人敬服地说：“清河公就是长江之神啊！陈后主被俘后，江南各地发生叛乱。杨素受命为行军总管，在杨坚觉得要修整一下军队的时候，还是坚持要把叛军全部扬了才罢手，最后果然是全部荡平，使得隋朝正式成为了又一个大一统王朝。
杨素真正的高光时刻在于对付突厥的战争。公元583年，横贯欧亚大陆北部的突厥汗国被隋朝军事与外交手段分化瓦解为东西两部分，但是厥仍旧拥有威胁隋朝北境的强大实力。599年，厥都蓝可汗联合达头可汗南侵大同，杨坚命汉王杨谅为元帅，杨素、高颎、燕荣三路共同出击。
此前，面对彪悍的突厥骑兵，隋军采用的都是战车、骑兵和步兵相互交叉配合的阵法，把外层都放置鹿角和铁蒺藜等拒马之物。杨素认为这样做是被动挨打的做法，要胜就要主动出击，和敌军骑兵对骑兵地对刚。达头可汗见隋军如此，认为对方这是送死来了，率领十余万骑兵就直扑隋军主力。
杨素之所以敢摆脱经验主义的桎梏，和对方的强项比试，自然是有自己的自信的。一方面，他练兵有方，学习突厥人的骑兵长处，专门打造了一支骑兵劲旅。其他的兵种他也训练的颇有章法，有着很强的战术执行能力。另一方面，他治军严厉，赏罚分明。每次作战前，他都要杀鸡儆猴，对违反军令者一概处死。在战场上，杨素往往先令一二百人前去迎敌，若取胜还行，如果败逃，这些兵卒都会被全部斩首。然后再令二三百人迎敌，不胜则照杀不误。而且杨素对人头滚滚的场面毫无波澜，谈笑自若，真是个狠人。同时，杨素对于获得战功的将士，奖赏和抚恤也是相当丰厚。这样一来，他手下的将士各个都是嗷嗷叫往前冲的主儿。
杨素对战机的把控能力也很强，看到突厥军队杀过来后，抓住对方阵型不整的机会，率精骑冲垮了对方阵线，大败敌军。达头可汗身负重伤，为部下所杀，余部号哭而去。隋军追过白道，越过秦山七百余里，将漠南地区扫荡了一番之后才返回。
601年，杨素被杨坚任命为行军元帅，前往云州抵挡突厥人南犯。突厥人之前就是杨素的手下败将，这次更是被打得裤子都不要了。杨素深知游牧民族逃跑不容易追上，就命令骑兵稍稍跟在后边，自己亲自带领两名骑兵和两个投降的突厥人潜入敌阵，同敌人一起前行。突厥人反应迟钝没有发现异常，就在他们准备安顿休息的时候，杨素命令后边的骑兵突然袭击。突厥人猝不及防，主力尽丧，残部逃往漠北。
在杨素的打击下，中原王朝时隔数百年再一次实现了“漠南无王庭”，隋朝正式确立了东亚霸主地位。在隋炀帝即位后，汉王杨谅组织二十万大军占据并州造反，杨素仅以数万人东征平乱。他不辞劳苦，亲冒矢石，生擒当世第一猛将萧摩诃。至杨素的军事生涯结束时，只要是他担任统帅的战役，无一败绩，恐怖如斯。
杨素曾创作一首共七百字的五言诗，送给隋朝著名诗人、时任番州刺史薛道衡。其诗气势宏大，风韵出众，在当时被评为上乘之作。诗曰:“…北风吹故林，秋声不可听。雁飞穷海寒，鹤唳霜皋净。含毫心未传，闻音路犹夐。惟有孤城月，徘徊独临映。吊影余自怜，安知我疲病。”结果写完后没几天，杨素就病逝了。薛道衡听闻后叹息道：“人快要死的时候，他的话语也变得很友善了，难道就是像这样的吗？”为什么薛道衡会有这样的感慨呢？自然是他这样的表现与他平时的表现不符了。自从杨素投靠杨坚之后，一生都是在讨好上位者当中度过的。他参与了《开皇律》的修订，和高颎等几位重臣将该法律制订为中华法系的代表之一。他从592年开始成为尚书右仆射，和尚书左仆射高颎同掌朝政。
601年，杨素接替高颎任尚书左仆射，被赐予好马一百匹、母马两百匹、奴婢一百人。杨素因对突厥战事获胜，其儿子杨玄感也进位柱国，杨玄纵封为淮南郡公。杨素还主导了独孤皇后的墓葬建设，十分符合杨坚的心意。杨坚于是封他的一个儿子为义康郡公，食邑一万户，世代承袭，并赏赐给他良田三十顷，绢一万段，米一万石，金钵一个，装满了金子，银钵一个，盛满了珠宝，外加绫、锦共五百段。
在杨素的身上，人性的复杂体现地淋漓尽致。他在朝中除了高颎、牛弘和薛道衡等少数几人外，对其他大臣都不客气。只要是归附、奉迎杨素或其亲属的人，即使是无能之辈，杨素也会推荐提拔。只要有得罪他的人，他一定会想方设法地为难甚至报复回去。当时隋朝的其他几位名将如贺若弼、史万岁、韩擒虎三人，和杨素都不服对方，毕竟之前几人都是单独率领方面军并取得较大战功之人，且互相间没有隶属关系。三人也多次遭到杨素的中伤。
在这样猜忌冷酷、追求权力的外表下，杨素也有温情和人性的一面。当年陈后主陈叔宝的妹妹乐昌公主的丈夫徐德言，在隋朝南征时取出一面圆形的铜镜打成两半，一半交给乐昌公主，另一半自己留下，约定两人在分开后的第五个元宵节，趁人们在长安街头热闹地活动时，假装出售破镜子，以寻访对方。
等到了约定的时间，徐德言上京寻访，拿着半面铜镜上街去卖，发现一位老仆人也在叫卖半面铜镜，正与自己的半面铜镜吻合，才得知乐昌公主已成为杨素的侍妾，忍不住在半面镜子上写下了一首《破镜诗》，托老仆人带回去。乐昌公主见了徐德言的诗后辗转反侧，以泪洗面。杨素得知事情原委后不但不生气，还十分同情这对患难夫妻，便把乐昌公主还给了徐德言，并设宴祝贺他们夫妻“破镜重圆”
大唐军神李靖，年轻的时候曾是韩擒虎的军事学徒，和杨素身边的乐伎红拂女私奔。杨素发现此事后，不但没有追究责任，反而看出李靖是个潜力股，推荐李靖出任马邑的郡丞。由此可见，杨素对于真正有才华的人，即便让自己戴了绿帽子，他也愿意向朝廷推荐。
纵观杨素的一生，可以说他是宠臣、弄臣，但是实在难算是奸臣。为何高颎在历史上的名声较好，而杨素被称为奸臣呢？因为高颎为人正直，性格宽厚，对兴衰荣辱处之泰然，积极为朝廷选贤任能。杨素进入朝堂也是高颎推荐的。他对隋炀帝杨广穷奢极侈、压榨百姓的行为表达了反对意见，结果被冤杀。
而杨素为人猜忌，执着于权力和富贵，帮助杨广上位，默认杨广的胡作非为，把隋朝和自己家族都带到了沟里。可是他对隋朝发展的功绩是实实在在的，也为国家推荐了不少人才，更没有什么夺权篡位的行为，说他是“隋朝第一奸臣”实在是冤枉他了。
