张齐贤又请求调来江淮、荆湘丁壮八万加强防御，朝廷议论认为动摇民心，并且湖泊之乡的人远戍西鄙也不方便，这件事就停止不办了。

　　张齐贤又说：“灵州地处边隅，当城镇还完好、碛路还未阻塞时，朝廷内外已经说应当放弃，从继迁叛乱以来，危困越发厉害。南距镇戎约五百多里，东离环州仅六七天路程，如此畏途，不必攻夺，则城中之民怎么出来，城中之兵又怎么回去？想保护城中军民，按理应当接应。为今之计，如果能增加精兵，以合西边驻屯、换防的军队，接着以原、渭、镇戎的军队，率领山西熟户从东界进入，严约会师日期，两路并进，假如继迁分兵抵抗，我方则乘机而易攻。况且在路途奔波，首尾难顾，千里趋利，不失败就会被俘。我认为兵锋未交，而灵州之围自解。然后迁移灵州军民到在萧关、武延川险要地方设立的营寨居住，这样做则蕃汉人士之心有所依赖。等到叛乱平定后，仍回到旧州，然后指挥蕃汉之兵，乘机进攻，则成功不难。”朝廷不能用他的计策。不久，灵武果然失陷。

　　宦海沉浮

　　咸平四年（1001年）闰十二月，授任右仆射、判汾州兼经略使，不出发，改为判永兴军兼马步军部署。当时薛居正的儿子薛惟吉的妻子柴氏早年守寡，把她家的财产及书籍论告都储藏起来，打算改嫁张齐贤。薛惟吉的儿子安上为此上诉。赵桓不想理睬这件事，命司门员外郎张正伦前去讯问，柴氏的回答与安上的诉状不同。把这件事交给御史，发觉是张齐贤的儿子太子中舍张宗诲教柴氏这样说。张齐贤因此被贬为太常卿、分司西京，张宗诲贬为海州别驾。

　　景德初年（1004年），重新升齐贤为兵部尚书、知青州。赵恒到澶渊，任命他兼任青、淄、潍三州安抚使。

　　景德二年（1005年），改任吏部尚书。张齐贤上疏说：“我在先朝时，常忧虑灵、夏两镇会被继迁并吞，议事者认为我的忧虑太过分了，大略列举往事以明本末。当时大臣们都以为继迁只是怀恋祖辈旧地，别无他心，先帝任命他为银州廉察，以满足他的心愿。到陛下赐给他银、夏二州土地，宠任为节度，从此奸威愈滋，逆志尤凶。多次阻断灵州粮路，又侵扰边境城池，几年之间，灵州终于被他吞没。当灵池、清远军即将陷没时，我正接受经略的使命。我认为对付继迁需要一两处强大蕃族与之为敌，这乃是用蛮夷对付蛮夷，古今之上策。于是请求朝廷以六谷王名目封潘罗支，使他效力。当时朝廷亲信大臣意见，全然与我的计谋不同，从中阻挠。到继迁被潘罗支射杀后，边患才算稍稍平息。现在继迁的儿子德明像以往那样攻劫城池，析靅游龙钵等人又都在他的军中，他们志向也似乎不小。我忧虑的是德明乘皇上到东方之际，去进攻六谷，则瓜、沙、甘、肃、于阗几处渐渐被他控制。如果潘罗支还在，则德明不足为虑；现在潘罗支已死，厮铎督恐怕不是他的对手。希望委任大臣经制其事。”

　　无疾而终

　　张齐贤跟从赵恒到东边封禅回朝后，被授任为右仆射。当时建筑玉清昭应宫，张齐贤说画瑞符，有损自谦之理，又违背奉天之意，多次请求停止此项工程。

　　大中祥符三年（1010年），出京判河阳军，跟从赵恒祭祀汾阴回朝，升为左仆射。

　　大中祥符五年（1011年），换任回朝，请求归家养老，以司空衔退休。入宫辞别时便坐，刚拜见就仆倒地上，真宗急忙阻止他，允许他的两个儿子扶持着上殿，命令给他加上三个坐垫。回到洛阳，购置裴度的午桥庄，庄中有很多池榭松竹，张齐贤每天与亲朋旧友喝酒吟诗，心情很旷达闲适。

　　大中祥符七年（1014年）六月，张齐贤无疾而终，终年七十二岁。真宗闻讯后颇为悲伤，派入内殿头邵文雅致祭，并馈赠财物及布帛、粟、麦等。追赠司徒，为他废朝二日。

　　皇祐四年（1052年），追谥“文定”。