节度使李正己多次上表朝廷，询问刘晏何罪被杀，讥讽斥责朝廷。杨炎“恐天下以杀刘晏之罪归己”，遂派遣使者前往各镇，将过错推给德宗。德宗知道后，派宦官到李正己那里核实情况，果然如此，自此产生了诛杀杨炎的想法，但当时隐而未发。就提升卢杞为门下侍郎、平章事，改任杨炎为中书侍郎，仍为平章事，但不再专任杨炎了。

　　杨炎与卢杞二人同时执政，卢杞相貌丑陋，又无文学才干，杨炎对他很轻视，往往假托有病不和他在一起共事，议事又多有不合，卢杞因此怀恨在心。卢杞为人狡诈，为了发展自己个人的势力，树立自己的威信，对于不依附自己的人必欲置之于死地。于是荐引太常博士裴延令为集贤殿学士作为自己的羽翼，来图谋异己势力。

　　梁崇义自代宗即位以来，就据有襄、汉七州之地，拥兵自守。德宗即位后，对他进行招抚，但他态度顽固，抗拒朝命。建中二年（781年）六月，德宗任命淮西节度使李希烈统领各军讨伐梁崇义。杨炎劝谏说：“希烈为董秦（即李忠臣）养子，亲任无比，卒逐秦而夺其位。为人狼戾无亲，无功犹倔强不法，使平崇义，何以制之。”杨炎坚持己见，争议再三，德宗不听。在此之前，杨炎回归朝廷时，路经襄、汉，努力劝说梁崇义入朝，梁崇义没有听从，已经图谋反叛。不久，杨炎又派自己的党羽李舟去劝说梁崇义，梁崇义顽固不听，最后终于反叛。议论的人都归罪于杨炎，认为是他促成梁崇义反叛的。此时，杨炎劝德宗不用李希烈，德宗对他更加不满。德宗又曾询问宰相，大臣之中谁可担当大任，卢杞推荐张镒、严郢，而杨炎推荐崔昭、赵惠伯，德宗认为杨炎议论疏阔，于是罢免杨炎宰相之职，为左仆射。过了几天，杨炎入朝谢恩，在延英殿问对后，急弛而归，没有到中书省与卢杞见面，卢杞对杨炎更加怒恨。不久卢杞引荐严郢为御史大夫。以前严郢担任京兆尹时，不依附杨炎，杨炎对他很不满，就指使御史张著弹劾严郢，罢免严郢京兆尹之职为御史中丞。杨炎又提拔了与严郢有矛盾的源休为京兆尹。严郢后来又因犯有度田不实之罪，改任为大理卿，当时人们感到惋惜。此时，卢杞则迎合众人的要求，又利用严郢与杨炎有积怨，故意引荐他为御史大夫。杨炎的儿子杨弘业很不成才，常违法犯禁，又接受别人的贿赂和请托，后严郢审理此案，便不遗余力，并查出了杨炎的其他罪行。