金朝请求和议，胡铨说：“金朝知道陛下锐意恢复中原，因此用好话欺骗我，希望绝口不要说‘和’字。”孝宗将边防事宜全部交付张浚，而王之望、尹穑等人专主议和排挤张浚，胡铨当廷斥责他们。胡铨兼任权中书舍人、同修国史。张浚儿子张轼被赐金紫，胡铨收缴上奏，认为不应当这样对待勋臣子弟。张浚与胡铨交情深厚，胡铨不顾忌这一点。

　　十一月，孝宗就战和问题向朝臣征求意见，与会的十四人中，力主和议的占一半，模棱两可的占一半，反对议和的不过胡铨一人。朝廷任命他为宗正少卿，胡铨请求外任，没被允许。

　　早先，金将蒲察徒穆、大周仁以泗州地投降，萧琦率兵一百人投降，诏令都授予他们节度使。胡铨说：“接受投降自古以来都是件棘手的事情，六朝七次得到河南地区，但很快又都丧失；梁武帝时侯景将河南地区来投降，不久台城沦陷；本朝政和、宣和年间，郭药师从燕云来投，不久成为中国祸患。现在金朝三大将前来归附，给予高官厚禄，优待他们的部队，以维系中原民心，是不错的。但让他们驻在都城附近，万一他们包藏祸心，作为内应，将来会后悔莫及，希望不要任命他们掌管兵权，把他们的部众迁移到湖、广地区以杜绝后患。”

　　隆兴二年（1164年），胡铨兼任国子监祭酒，不久任权兵部侍郎，兼中书舍人。八月，孝宗因灾异避住偏殿减少膳食，诏令廷臣议论政事缺失和当前急务。胡铨认为救灾是当务之急，同金讲和是政事缺失，认为“今日之议若成，则有可吊者十；若不成，则有可贺者亦十。”并举“十吊”之事，再次反对议和。

　　当时，金兵向商、秦之地进发，楚荆、昭关、滁等地先后失守，只有高邮守臣陈敏顽强地拒敌于射阳湖（今江苏东部）。形势十分危急，胡铨受命以本职措置浙西、淮东海道。一面上表弹劾拥兵不救的大将李宝，敦促他迅速出师救援；另一方面又亲自带兵上前线抗金。时值严冬腊月，河水冻结，胡铨身先士卒，手持铁锤下河击冰。将士们深受鼓舞，一鼓作气，奋勇作战，终于击退了金兵的入侵。许久后，提举太平兴国宫。

　　乾道初年，胡铨以集英殿修撰的身份知漳州，改任泉州。上朝奏事，留任工部侍郎。入朝对策，说：“少康以一旅之师恢复夏禹基业，今陛下富有四海，不只一旅，而即位已经九年，恢复过去基业的效果还未显著。”又说：“天下多水旱灾害，左右不上报，这是为国谋画者的过错，应该命令有关部门迅速做好防灾准备。”请求退休。

　　乾道七年（1171年），任宝文阁待制，留经筵。请求离职。以敷文阁直学士出外任宫观官。辞行时，还以归还陵寝、恢复故疆上言，孝宗说：“这是朕的志向。”并问他回到哪里，胡铨说：“回到庐陵，臣以前在岭海曾经训解经书，想写成此书。”孝宗特赐通天犀带以示宠荣。

　　胡铨归去后，献上所著《易》、《春秋》、《周礼》、《礼记解》，孝宗诏令收藏于秘书省。不久复任原官，升龙图阁学士、提举太平兴国宫，转提举玉隆万寿宫，进为端明殿学士。

归家长逝
　　淳熙六年（1179年），召胡铨归经筵，胡铨以疾病极力推辞。

　　淳熙七年（1180年），胡铨已届七十八岁高龄，疾病缠身，不能再上朝，孝宗准许他以资政殿学士的身份致仕。五月，胡铨病危，弥留之际，仍口授遗表，悖悖期望孝宗“舍己为人，安民和众”，牢记家仇国恨，收复失地。他自己则愿学习唐代安史之乱时忠贞杀敌、以身殉国的张巡，“为厉鬼以杀贼，死亦不忘！”就在忠君爱民、杀敌报国嘱咐声中，胡铨溘然辞世。孝宗闻讯后，特赠通议大夫。

　　淳熙十三年（1186年），追谥“忠简”。