直到仁寿末，杨素不再处理事务。隋文帝曾赏赐王公以下的人射箭，杨素名列第一，隋文帝亲将外国进贡来的金精盘，价值万两，赐给了杨素。

助广登基

　　公元604年（仁寿四年），杨素跟随隋文帝驾临仁寿宫，隋文帝又多次赏赐宴席。等到隋文帝病重，杨素和兵部尚书柳述、黄门侍郎元岩等人入宫侍候。当时皇太子杨广住在宫内的大宝殿，怕隋文帝有什么不好的消息须要预先防备，于是亲自写了一封信，封好送出来问杨素。杨素记下宫外的形势，来报告太子。宫人却将回信误送到了隋文帝的住处，隋文帝见信大怒。这时，隋文帝宠爱的陈贵人又说太子对她无礼。隋文帝于是大发脾气，要召见已废的皇子杨勇。

　　太子与杨素谋划对策，杨素假传圣旨派东宫的士兵入宫守卫，出入都由宇文述、郭衍决定，又命令张衡守候隋文帝的病情。隋文帝就在这天晚上驾崩了，因此朝廷内外有很多非议。

　　公元604年（仁寿四年），隋文帝驾崩后，杨广登基，派车骑将军屈突通带着隋文帝的诏书，召杨谅回朝。杨谅知有异，不听从遂起兵反叛。杨谅命蠕蠕天保占领蒲州，烧断了河桥，又派王耳冉子率领几万人与他合力防守。杨素率领五千轻骑前去偷袭，他先隐蔽在渭口，夜间悄悄渡河，黎明时发动进攻，蠕蠕天保大败而逃，王耳冉子因害怕而开城投降。杨广下诏书召回杨素。

　　起初，杨素出发之前就计算过几天可以打败敌人，结果不出所料。杨广又拜杨素为并州道行军总管、河北安抚大使，率领几万人讨伐杨谅。当时晋州、绛州、吕州州城都被杨谅守住，杨素各派两千人去牵制他们。杨谅命令赵子开拥十余万之众，占领了所有的道路，盘踞在高壁，摆开五十里的战阵。杨素命令部将带兵正面对敌，自己则率领一支队伍潜入霍山，沿着悬崖深谷前进，直捣叛军老巢，一举击败了他们，杀死杀伤的数以万计。杨谅所任命的介州刺史梁修罗驻守在介休，梁修罗听说杨素来了，非常害怕，弃城而逃。杨素继续前进，到达清源，离并州还有三十里。杨谅率领部将王世宗、赵子开、萧摩诃等将近十万人马，前来迎战，杨素又打败了他们，活捉了萧摩诃。杨谅退守并州，杨素进兵包围了他，杨谅无计可施，非常窘迫，只好投降，其余党羽也都一一铲平。