此时隋文帝考虑到隋军长时间征战，便诏令杨素入朝。同时加其子杨玄感为上开府，赐彩物三千段。而杨素则认为：“贼寇的余部尚未殄灭，恐怕会成为后患。”便上书请求暂缓返京，继续剿匪。隋文帝对杨素此举非常赞赏，便下诏说：“朕忧劳百姓，日旰忘食，一物失所，情深纳隍。江外狂狡，妄构妖逆，虽经殄除，民未安堵。犹有贼首凶魁，逃亡山洞，恐其聚结，重扰苍生。内史令、上柱国、越国公素，识达古今，经谋长远，比曾推毂，旧著威名，宜任以大兵，总为元帅，宣布朝风，振扬威武，擒剪叛亡，慰劳黎庶。军民事务，一以委之”。杨素继续率军由会稽（今浙江绍兴）走海道向泉州追击。

剿平匪患

　　当时泉州人王国庆为南安豪族，杀刺史刘弘，据州为乱，各处逃亡的叛军皆附于他。王国庆自以为海路险阻，而隋军多为北方人，不习海战，遂不设防。杨素率水师从海道掩至，王国庆大惊，弃州逃跑，其众或入海岛，或守溪洞。于是杨素分遣诸将，水、陆分进追捕。并派人密劝王国庆：“你的罪状，累计起来处以死刑还不够。只有斩送高智慧，才可以抵塞罪责。”王国庆遂抓获高智慧，送交隋军，杨素将其斩首，余众全部投降，至此，江南全部平定。此战，杨素辞谢回朝休养诏令，坚持除恶务尽，连续追歼彻底平定江南之乱，对巩固隋朝统一，发展生产具有积极作用。隋文帝派左领军将军独孤陀迎至浚仪犒劳隋军，待回京后，问者日至。隋文帝再封杨玄奖为仪同，赐黄金四十斤，加银瓶，实以金钱，缣三千段，马二百匹，羊二千口，公田百顷，宅一区。

　　公元592年（开皇十二年）十二月，杨素代苏威为尚书右仆射，与尚书左仆射高颎同掌朝政。

　　杨素性疏而辩，朝臣之中，颇推高颎，尊敬牛弘，厚接道衡" href="http://www.youmowan.cn/shiren/9372.html">薛道衡，蔑视苏威。其余的大臣，只要与他有过节的人，杨素肯定会百般为难。其才艺风调，优于高颎，至于治理国家，则远不及高颎。

　　公元593年（开皇十三年）二月，隋文帝在岐州之北建仁寿宫，令杨素监造。杨素奏请莱州刺史宇文恺检校将作大匠，记室封德彝为土木监。杨素为巩固其政治利益，讨好隋文帝，遂“夷山堙谷以立宫殿，崇台累榭，宛转相属”。又“役使严急，丁夫多死，疲屯颠仆，推填坑坎，覆以土石，因而筑为平地。死者以万数”。