甘心流窜
　　绍兴九年（1039年），改为签书威武军判官。

　　绍兴十二年（1142年），谏官罗汝楫弹劾胡铨饰非横议，诏令除名，贬送新州（今广东新会县）管制。

　　绍兴十八年（1148年），新州守臣张棣攻讦胡铨与宾客唱酬对答，诽谤怨恨朝廷，胡铨再被贬至吉阳军（今海南省崖县崖城镇）。

　　绍兴二十六年（1156年），秦桧死，胡铨量移至衡州。

　　绍兴三十一年（1161年），胡铨获准随意居住。

屡议朝政
　　绍兴三十二年（1162年），宋孝宗赵昚即位，胡铨复职奉议郎、知饶州。孝宗召他入对，胡铨上奏修德、结民、练兵、观衅四事。孝宗说：“朕很早就听说你耿直诚实。”任命他为吏部郎官。

　　隆兴元年（1163年），迁任秘书少监、擢任起居郎。针对自隆兴北伐失败后朝中的议和之风，胡铨多次上表予以反对。

　　当时发生旱灾、蝗灾和星变，孝宗下诏垂询政事缺失，胡铨应诏上书数千言，全篇引用《春秋》记载灾异的方法，论述政令缺失的情况有十种，而上下情不合的情况也有十种，并说：“尧、舜四目明白，四耳通达，虽有共、鲧之乱，不能堵塞。秦二世以赵高为腹心，刘邦、项羽横行而没有听说；汉成帝杀死王章，王氏移鼎而没有听说；汉灵帝杀死窦武、陈蕃，天下崩溃而没有听说；梁武帝信任朱异，侯景斩关夺隘而没有听说；隋炀帝信任虞世基，李密称帝而没有听说；唐明皇驱逐张九龄，安、史包藏祸胎而没有听说。陛下自从即位以后，号召延揽宾客，与我同时召来的张焘、辛次膺、王大宝、王十朋，现在张焘已离开朝廷了，辛次膺离开朝廷了，王十朋离开朝廷了，王大宝也将离去，只有臣还在。以言论为避讳，而想堵塞灾异的根源，臣知道必然不能做到。”

　　胡铨又说：“过去周世宗被刘旻击败，周世宗处斩败将何徽等七十人，军威大震，果然打败刘旻，夺取淮南，抚定三关。一天之内处死七十位将领，哪里还有将领可以使用？但周世宗终能恢复失地，这难道不是因为无能懦弱的人离开，而勇敢的人出来了吗？近来宿州之败，将士死于敌手的布满原野，而败军之将以得到的金银贿赂权贵以求得自解，上天以灾异昭示人们，陛下必须信赏必罚以顺应天道变化。”他又谈论台谏官说：“今朝廷大臣以箴默不言为贤，取悦陛下为忠，导致唐德宗时‘卖直’那样的事发生，正所谓‘一言丧邦’。”孝宗说：“不是你，我听不到这些话。”