公元577年（北周建德六年）十月，陈宣帝陈顼闻北周灭北齐，即乘机争夺淮北地区，遂派名将吴明彻率军北伐。吴明彻军至北周吕梁（今江苏徐州东南），击败徐州总管梁士彦，进围彭城（今江苏徐州）。

　　公元578年（北周建德七年）二月，杨素随上大将军王轨前去救援，最终大破陈军，俘主将吴明彻。杨素遂治东楚州事。其弟杨慎被封为义安侯。陈将樊毅筑城于泗口，杨素将其击走之，并将所筑之城全部毁坏。

　　公元578年（北周宣政元年）六月，周武帝去世，周宣帝继位。宣帝即位后，杨素袭父爵临贞县公，并以其弟杨约为安成公。

　　公元579年（北周大象元年），杨素随上柱国韦孝宽攻陈淮南（泛指今淮河以南地区），其中杨素率军攻克盱眙（今江苏盱眙东北）、钟离（今安徽凤阳东北）。

投靠杨坚

　　公元580年（北周大象二年）五月十一日，北周宣帝宇文赟病死。周静帝宇文衍年幼，左丞相杨坚专政。杨素知杨坚甚得众心，且有称帝之意，遂主动投到杨坚门下，与其深自结纳。杨坚也知杨素之才，对其也非常器重，不久便以杨素为汴州刺史。

　　杨素在上任途中行至洛阳时，方知相州（治邺城）总管尉迟迥等举兵反杨坚。尉迟迥原为北周文帝宇文泰的外甥，位望素重，杨坚恐其有异图，遂以会葬宣帝为名，诏使其子尉迟敦召尉迟迥入朝；并以韦孝宽为相州总管赴邺（今河北临漳西南）取代尉迟迥。六月，尉迟迥恐杨坚专权对北周不利，公开起兵反对杨坚。荥州刺史宇文胄据武牢以应尉迟迥，使杨素无法前行。

　　七月十日，杨坚调发关中兵，令韦孝宽为行军元帅，杨素与郕公梁士彦、乐安公元谐、化政公宇文忻、濮阳公宇文述、武乡公崔弘度、陇西公李询等皆为行军总管，率军讨伐尉迟迥。旋拜大将军，领河内兵攻打宇文胄，破斩之。迁徐州总管，进位柱国，封清河郡公，邑二千户。其弟杨岳也被封为临贞公。

　　公元581年（北周大定元年）二月，大丞相杨坚受禅登基，改元开皇，是为隋文帝，并加杨素上柱国。并参与了隋朝法律的修定。

　　公元584 年（开皇四年），拜御史大夫。由于其妻郑氏是个悍妇，杨素一次与其吵架说了一句：“我如果当了天子，你一定不能作皇后。”。结果被其妻告发，杨素因此获罪，并被免官。此次经历，险些毁了杨素的前途。好在隋文帝一直准备灭亡陈朝，统一中国，杨素曾数次献伐陈之策，此次被免官后，杨素并没有闲著，再次献伐陈之策。