杨广派遣杨素的弟弟修武公杨约携带亲笔诏书慰劳杨素，杨素见诏后也上表陈述了自己的谢意。这个月杨素回到京城，跟随杨广抵达洛阳。杨广任杨素为营建东京的大监。因杨素平定杨谅有功，炀帝拜他的儿子万石、仁行，侄子玄挺都为仪同三司，并赐给他们织物五万段、绮罗一千匹，赐杨谅妓妾二十人。

去世

　　公元605年（大业元年），又升杨素为尚书令，赏赐给他东京上等府第一处，织物两千段，不久又拜为太子太师，其他职务不变，前后赏赐给他的东西不知有多少。

　　公元606年（大业二年），杨广拜杨素为司徒，又改封他为楚公，食邑两千五百户。这一年，杨素死在任上。谥曰“景武”，杨广追封他为光禄大夫、太尉公、弘农河东绛郡临汾文城河内汲郡长平上党西河十郡太守，赐给他载丧的鍂车、为他执斑剑的仪仗四十人，以及鍂车前后的仪仗队和乐队，还赐给谷子小麦五千石、织物五千段，派鸿胪卿专门监督办理丧事，并且下诏书表示哀悼。

　　杨素曾经作了一首共七百字的五言诗送给番州刺史道衡" href="http://www.youmowan.cn/shiren/9372.html">薛道衡，气势非常宏大，风韵出众，堪称一时的上乘之作。写后没几天，杨素就死了。薛道衡叹息说：“人快要死的时候，他的话语也变得很友善了，难道就是像这样的吗？”杨素留有文集十卷。杨素虽然有辅佐隋文帝建国立业的谋略，并且有平定杨谅的功绩，然而却深为杨广所忌。杨广面显出对他特殊的礼遇，实际上恩情却很淡薄。太史官说隋地所属的分野将有重大的丧事发生，杨广因而改封杨素为楚公，因为楚地和隋地属同一分野，杨广想借杨素来拦挡遭丧的运气。

　　杨素卧病在床的时候，杨广常派一些有名的医生前去诊治侍候，并且赐他许多上好的药品，然而却总在暗地里问医生，总怕他不死去。

　　杨素知道自己的名望和地位已到了极限，不肯吃药，也不想谨小慎微地活下去了，经常对弟弟杨约说：“我难道还要活下去吗？”杨素依仗自己富足的钱财，广求家产，东西二京他的居宅奢侈华丽，早晨拆毁晚上重建，营造修缮从不停止，在各方的大城市，他的旅店、水磨和肥沃的田地、华丽的房子都以千百来计算。当时人们议论纷纷，并且因此而瞧不起他。杨素死后，长子杨玄感继承了他的爵位。后来杨玄感起兵事败，遭到诛杀，杨素的家族也因受杨玄感的牵连都被株夷。