公元601年（仁寿初年），杨素取代高颎做了尚书左仆射。隋文帝赏赐给他好马一百匹、母马两百匹、奴婢一百口。这一年，高祖又拜杨素为行军元帅，前往云州攻打突厥，连连破敌。突厥逃跑，杨素率领骑兵紧追不舍，到夜里终于赶上。杨素想再次进攻，又怕敌人分散逃跑，就命令骑兵稍稍跟在后边。他于是亲自带领两名骑兵和两个投降的突厥人潜入敌阵，同敌人一起前行，敌人没有发觉。等到敌人停下来，止宿屯驻的地方还没安排好，杨素命令后边的骑兵突然袭击，大败他们。从此，突厥人逃得远远的，碛南再没有他们的踪迹了。

　　因为这次的战功，隋文帝让杨素的儿子杨玄感进位柱国，玄纵为淮南郡公，并赏赐给他织物两万段。

荣宠无比

　　公元602年（仁寿二年），文献皇后去世后，墓葬的规模制度，大多出自杨素之手。隋文帝认为很好，下诏书大大表彰他的功劳，封他的一个儿子为义康郡公，食邑一万户，世代承袭，并赏赐给他良田三十顷，绢一万段，米一万石，金钵一个，装满了金子，银钵一个，盛满了珠宝，外加绫、锦共五百段。

当时杨素一天比一天显贵荣耀，他的弟弟杨约、叔父杨文思、杨文纪以及族父杨异，都是尚书，位列公卿。诸子虽无汗马之劳，也都官至柱国、刺史。杨素家童几千人，后院披罗挂绮的乐妓小妾就以千计。府第华丽奢侈，规模体制摹仿皇宫。当时有一个叫鲍亨的人，很会写文章，还有一个叫殷胄的，精通草书、隶书，都是江南的读书人，却因为高智慧的缘故埋没为杨素的家奴。杨素的内外亲戚和过去属下的官吏，都位列清静显要之职。杨素的显贵，南北朝以来无人可与他相比。
杨广刚做太子的时候，非常顾忌蜀王杨秀，就和杨素谋划陷害他，最后使杨秀被废黜。朝臣之中如果有违背冒犯他的，即使其非常忠诚地为国事着想，像贺若弼、史万岁、李纲、柳述等，杨素也在暗地里中伤他们。如果归附奉迎他或者是他亲戚，即使无才可用，他也一定加以推荐提拔。朝廷内外没有不怕他、不归附他的。只有兵部尚书柳述凭着自己驸马的身份，多次在隋文帝面前说杨素的不是。大理寺卿梁毗上书隋文帝，弹劾杨素作威作福。隋文帝于是逐渐疏远和猜忌杨素，后来下来力令说：“仆射是朝廷的辅政大臣，不可亲自处理那些细小的事务，只须三五天到官署一次，讨论一些国家大事就行了。”表面上显示对他的尊崇、优待，实际上剥夺了他的权力。