公元595年（开皇十五年）三月，仁寿宫建成，隋文帝至仁寿宫。时值天热，“役夫死者相次于道，杨素悉焚除之”。其残暴程度令人发指。此前隋文帝先派高颎前去视察，高颎据实回报：“颇伤绮丽，大损人丁”，隋文帝心中不悦。待隋文帝至仁寿宫，见宫殿如此奢华，大怒道：“杨素殚民力为离宫，为吾结怨天下。”杨素惶恐无比，担心受责备，一时束手无策，便向封德彝请教。封德彝为人邪辟，多阴谋，便对杨素说：“公勿忧，俟皇后至，必有恩诏。”杨素即于北门拜见独孤皇后说：“帝王理当有一些行宫、别墅，现在天下太平，我们仅仅修造了这么一座宫殿，哪里就谈得上浪费了呢！” 次日，隋文帝果召杨素问之，独孤皇后则在傍为杨素辨解：“杨公知道我们夫妇年老，没有地方娱乐，盛饰此宫，难道不是忠孝吗？”结果杨素不但没有获罪，反而被赐钱百万，锦绢三千段。从此，杨素更得隋文帝的信任。而杨素则恃财凌物，对众人多有凌侮，唯独重赏了帮其大忙的封德彝。封德彝从此成为杨素的心腹，杨素常与其议论宰相职务，终日忘倦，还抚其床说：“封郎必当据吾此座。”封德彝在杨素的推荐下，被隋文帝擢升为内史舍人。

大破突厥

　　自开皇初年起，隋采纳长孙晟之谋，一直对突厥施用离间计，使其内部长期混战不休。公元597年（开皇十七年），隋文帝允许都兰可汗之弟突利可汗娶隋安义公主为妻，并故意予以优厚礼遇，借以离间都兰可汗。都兰可汗果被激怒，乃断绝朝贡，多次骚扰隋边。

　　公元599年（开皇十九年，《隋书·杨素列传》记载为十八年，有误）二月，突利可汗奏报都兰可汗制造攻城器械，准备攻击大同城（在今内蒙乌拉特前旗东北）。隋文帝命汉王杨谅为元帅（实际未亲临前线），以杨素出灵州（治回乐，今宁夏灵武西南），尚书左仆射高颎出朔州（治善阳，今山西朔县），上柱国燕荣出幽州（治蓟县，今北京城西南），三路进击突厥。
都兰可汗得知隋军来攻，与达头可汗结盟，合兵掩击突利可汗。四月，杨素军在灵州以北地区与达头可汗部遭遇。在此之前，隋将在与突厥交战时，因担心突厥彪悍的骑兵来往冲杀，都采用战车、骑兵和步兵相互交叉配合的阵法，阵外四周遍设鹿角、蒺藜等物，骑兵留在最里面。杨素认为：“这只是巩固防御的途径，而不是夺取胜利的方法。”于是抛弃这种自我保守的落后阵法，改变战术，下令各军摆开骑兵阵势。