大臣建议把四川交子法推广到江、浙，李光说：“有钱则交子可行。现在已经声称筹办多少钱，发行多少交子，提出此议的人打算让朝廷欺骗陛下，使陛下今后不免欺骗百姓。如果已经筹办现钱，则目前所发行的钱关子，已是流畅无阻，何至议论纷纷？工部所铸造的交子务铜印，我不敢下发。”授任端明殿学士，守台州，不久改任温州知州。

　　刘光世、张俊接连传来捷报。李光说：“观察金人部署，一定有阴谋。现在我方已占据东南形势，敌人万里来袭，利于速战，应当戒令诸将持重而拖延消耗敌人。不过数月，敌人粮食耗尽，则胜券操在我方手里。”授任江西安抚、洪州知州兼制置大使，升任吏部尚书；过了一月，授任参知政事。

　　当时秦桧开始倡议和议，准备张榜告示，打算借李光的名望来压制民心。高宗本意不想用李光，秦桧说：“李光有名望，如果一起签名，浮议会自动停息。”便用了李光。同郡人杨炜上书李光，指责他借依附权相谋取高官，中了敌人奸议，毁掉了平日的气节。李光本意认为只是趁和议之机作自治的打算。后来秦桧建议撤掉河南守备，夺去诸将兵权，李光极力陈述戎狄狼子野心，和谈不可依恃，守备不可撤除。秦桧憎恶他。秦桧任命亲党郑亿年为资政殿学士，李光在高宗面前当面反对；又与秦桧在高宗面前辩论，便说：“看秦桧的心意，是想堵塞蒙蔽陛下的耳目，盗弄国权，怀奸误国，不可不察。”秦桧大怒。第二天，李光请求罢职。高宗说：“你昨天当面斥责秦桧，举动像古人。朕退朝后叹息，正要寄心腹于你，为什么要辞职呢？”李光说：“臣与宰相争论，不可留任。”九次上章请求，便被授任为资政殿学士、绍兴知府，改任提举临安洞霄宫。

　　绍兴十一年（1141年）冬，御史中丞万俟卨指责李光阴怀怨恨，贬职为建宁军节度副使，安置在藤州。

　　绍兴十五年（1145年），移置琼州。

　　绍兴二十三年（1153年），李光在琼州八年，次子李孟坚因被陆升之诬为私撰国史，被立案；吕愿中又告李光与胡铨诗赋唱和，讥谤朝政，移置昌化军。他议论文章考证历史，怡然自得。年过八十，笔力精健。

　　绍兴二十八年（1158年），因郊祭之恩，复左朝奉大夫，任其自便居住。

　　绍兴二十九年（1159年），致仕，于四月三日（4月22日）在江州去世，年八十二。

　　宋孝宗即位后，追赠李光为资政殿学士，赐谥号为“庄简”。

　　嘉定十五年（1222年），郡邑立李光祠于学，以配先贤，四季祭享。

后世遗迹

　　李公墓表　　碑铭于2005年8月在浙江省余姚市姜山盗墓穴的泥坑深处出土，碑高116厘米，宽65厘米，厚9.5厘米。碑铭背部为毛面，底部有榫，高8厘米，为青石材质。碑文共24行，每行47字，右上角局部文字缺损严重，全文共计1000余字，为碑铭主人宋参知政事李光次子李孟坚所撰书。