在此之前，张齐贤约潘美指挥并州军队来会战，不久，使者被辽兵捉去。张齐贤因为会期既然泄露，并且考虑到潘美的军队会被辽所袭。后来潘美派的使者到，说军队已从并州出发，到了柏井，接到密诏，东边部队在君子馆遭到失败，并州全军不许出战，已经回到并州了。当时辽兵遍山，张齐贤说：“敌人只知道潘美要来会师，而不知道潘美已退兵。”于是把使者关闭在密室，半夜派出军队二百人，每人拿一面旗帜，背一束草，离州城西南三十里，打出旗帜燃烧干草。辽兵远远看见火光有旗帜，以为是并州部队到了，惊骇而逃走。张齐贤先在土磴砦埋下二千伏兵，袭击大败辽军，擒俘辽军北大王的儿子一人，帐前舍利一人，杀敌数百，俘获二千匹战马及很多兵器。捷报上奏，齐贤把功劳归于卢汉赟。

　　端拱元年（988年）冬天，授任工部侍郎。辽兵又从大石路往南侵犯，张齐贤预先选择厢兵一千人分为二支，分别驻扎在繁畤、崞县。下令说：“代西有敌人，则崞县的部队出战，代东有敌人，则繁畤的部队出战。战斗发生后，则郡中部队集合作战。”到此时，辽兵果然被驻扎在繁畤的部队打败。

　　出将入相

　　端拱二年（989年），建立屯田制。张齐贤兼任河东制置方田都部署，经宰相赵普力荐，被召入朝，授刑部侍郎、枢密副使。

　　淳化二年（991年）夏天，任参知政事。几个月后，授任吏部侍郎、同中书门下平章事。张齐贤的母亲孙氏年纪有八十多岁，封为晋国太夫人，每次入宫朝见，赵光义叹服说：“婆婆有福，生得好儿，为国家分忧。”常常下手诏慰问，给与赏赐，朝官们都感到他家很荣幸。

　　当初，王延德与朱贻业一同掌管京城粮仓，想求任地方官，朱贻业与参政李沆是亲家，就向李沆请托，李沆替他向张齐贤请托，张齐贤告诉了赵光义。赵光义因为王延德曾经奉事晋王府，厌恶他不自己陈述请求而委托执政大臣，召见并斥责了他。王延德、朱贻业都瞒着不说实情，张齐贤不想连累李沆，单独承担责任。

　　淳化四年（993年）六月，罢前职任尚书左丞。十月，命他知定州，张齐贤因为母亲年老不愿去。不久，遭母丧，水浆不入口者七天，从此每天只吃一碗粥，守丧期间一直不吃酒肉蔬果。不久转任礼部尚书、知河南府，当时监狱有死犯将处决，张齐贤到任后，马上辨明案情而放了他。三天后，改任知永兴军。当时閤门祗候赵赞因为议论政事得到赵光义宠幸，提点关中粮食，所做多豪横不法。张齐贤论奏列举他的罪状，终于伏法。不久改任知襄州，又改任知荆南，又改任知安州。一年后，加任刑部尚书。