还军，杨素因战功卓著被进爵郢国公，邑三千户，真食长寿县千户。以其子杨玄感为仪同，杨玄奖为清河郡公。赐物万段，粟万石，加以金宝，又赐陈主妹及女妓十四人。杨素又上言：“乡里名叫‘胜母’，孝子曾子就不进去；叛逆之人王谊，以前曾分封于郢地，臣不想和他一样。”于是改封越国公。同年六月，拜纳言之职位；公元590年（开皇十年）七月，转内史令。

　　江南自东晋以来，世家士族一直欺压寒门庶族。隋灭陈统一中国后，南方士族豪强因对隋实行的限制政策不满，便利用民间对隋欲移民关中流言的惊恐心理，乘机煽动叛乱。十年十一月，婺州（治今浙江金华）汪文进、越州（治今浙江绍兴）高智慧、苏州沈玄侩等均举兵反隋，自称天子，署置百官。蒋山（今南京钟山）李忮、乐安（今浙江仙居西）蔡道人、温州沈孝彻、泉州（治今福州）王国庆等，都自称大都督，起兵攻陷州县，反乱大抵遍及原陈属地。其规模大者数万人，小者数千人，互相呼应，残杀隋朝官吏。面对如此严峻的形式，隋文帝遂命杨素为行军总管率军平叛。

　　杨素率军由杨子津（今江苏扬州南）渡江，首先击破叛军朱莫问（自称南徐州刺史）于京口（今江苏镇江）。继而击败晋陵（今江苏常州）顾世兴，顾世兴率其都督鲍迁等再战，杨素击破之，俘鲍迁以下三千余人。又进击无锡叶略，平之。时沈玄侩、沈杰等等正围攻苏州，刺史皇甫绩屡战不利，杨素军赶到将其击败，沈玄侩逃至南沙人陆孟孙处，杨素进击陆孟孙于松江，大破之，生擒陆孟孙、沈玄侩。黟、歙叛军沈雪、沈能据栅自守，又攻拔之。

　　高智慧（自称东扬州刺史）率部据守浙江（今钱塘江）东岸营垒，屯据要害，周围百余里，船舰千艘，遮盖江面，鼓噪而进。子总管来护儿建议：“吴人累锐，利于在舟楫作战。必死的贼寇，难与争锋。您暂且严阵以待，切勿与其交锋，请借我奇兵数千，悄悄渡过江，攻破他们的巢穴，让他们退无所归，进不得战，这是韩信破赵的计策。”杨素纳其言，并命其率轻型战船数百艘，偷渡浙江，以奇兵突袭，并焚烧高智慧后方营垒，使其恐惧不安；杨素则乘机率军从正面突击，大败高智慧军。尔后，杨素派行军总管史万岁率军二千人进攻婺州，自率主力由海道追击逃入海中的高智慧，直趋温州。高智慧来战，杨素将其击败，俘数千人。而后又平定蔡道人、汪文进。杨素在温州击败沈孝彻后，便由陆路转向天台、临海（今属浙江），继续追击反隋散兵，前后战斗达一百多次。高智慧退守闽、越。