显庆二年（657年），唐高宗擢升李义府为中书令、检校御史大夫、太子宾客、河间郡公，并为他修建宅第。当时，李义府宠冠朝廷，家中子弟都被封为清要官职。他生性贪婪，与妻子、子婿大肆卖官鬻爵，又多引腹心、广结朋党，权势熏天。

　　此前，杜正伦担任中书侍郎，而李义府则为门下典仪，后二人一同担任中书令。杜正伦自恃前辈，对李义府非常轻视。显庆三年（658年），杜正伦与中书侍郎李友益谋除李义府，结果事情泄露，被李义府告知皇帝。二人在唐高宗面前争论，各执一词。唐高宗以“大臣不和”为由，贬李义府为普州刺史、杜正伦为横州刺史，并将李友益流放峰州。

　　显庆四年（659年），李义府被征召回朝，兼任吏部尚书、同中书门下三品。此前，李义府自称出身赵郡李氏，被给事中李崇德列入族谱。他贬官普州时，李崇德却将他除名，因此怀恨在心。李义府回朝后，命人罗织罪名，将李崇德下狱。李崇德最终在狱中自杀。

　　龙朔二年（662年），唐高宗更改官制，李义府改任司列太常伯、同东西台三品。他奏请皇帝，将祖父改葬到永康陵侧，并征调七县民丁，昼夜不停的运土修坟。满朝王公争相馈赠奠仪，送葬队伍绵延七十里，极尽奢华。同年十一月，唐高宗封皇八子李旭轮（即李旦）为殷王，命李义府兼任殷王府长史。

流放巂州

　　龙朔三年（663年），李义府升任右相，仍旧主持铨选。他在皇帝面前谄言自媚，出外则肆意乱法，百官尽皆畏惧，无人敢言其过。唐高宗对此略有所知，告诫他道：“听说你的儿子、女婿多有不法之事，我都为你掩饰，你该对他们多加管教。”李义府勃然变色，问道：“是谁告诉陛下的？”高宗道：“你知道就行，不必问我是怎么知道的。”李义府也不谢罪，扭头便走。唐高宗虽未追究，但也深为不满。

　　不久，李义府请术士杜元纪望气。杜元纪道：“您的宅第有冤狱造成的怨气，如果积蓄二千万钱，可以将怨气压制。”李义府深信不疑，更加急切的搜刮钱财，还趁哭吊亡母之时，与杜元纪微服出城。时人都认为李义府在窥测灾异，图谋不轨。这时，李义府又向长孙无忌之孙长孙延索取七百贯，授给他司津监的官职，结果被右金吾仓曹参军杨行颖告发。

　　四月，唐高宗将李义府下狱，命司刑太常伯刘祥道联合御史台、详刑寺（即大理寺）一同审讯，并由司空李勣进行监督。不久，唐高宗下诏，将李义府长期流放巂州（今四川西昌），其子婿也都遭到流放。朝野对此无不称庆，有人甚至写了篇《河间道行军元帅刘祥道破铜山大贼李义府露布》，张贴在交通要道上。

忧愤而死

　　乾封元年（666年），唐高宗封禅泰山，大赦天下，但却不许长期流放的罪囚返回。李义府忧愤不已，发病而死，时年五十三岁。至此，担心他再度起复的朝士方才安心。

　　上元元年（674年），李义府的妻子、儿女遇赦，得以返回洛阳。如意元年（692年），武则天念及李义府此前的辅助之功，追赠他为扬州大都督，后赐实封三百户。景云元年（710年），唐睿宗继位，又将李义府的实封收回。

轶事典故

　　李义府表面上随和有礼，与人说话，总是和言悦色，但内心褊狭嫉妒、阴狠残忍。在他位居要职后，凡是对他稍有触犯者，都会遭到陷害。当时人都说他笑中有刀，称他为“李猫”。