淮南王刘安阴谋反叛，畏惧汲黯，说：“汲黯爱直言相谏，固守志节而宁愿为正义捐躯，很难用不正当的事情诱惑他。至于游说丞相公孙弘，就像揭掉盖东西的蒙布或者把快落的树叶振掉那么容易了。”

　　当今天子已经多次征讨匈奴大获战绩，汲黯主张与胡人和亲而不必兴兵征讨的话，他就更加听不进去了。

　　当初汲黯享受九卿待遇时，公孙弘、张汤不过还是一般小吏而已。等到公孙弘、张汤日渐显贵，和汲黯官位相当时，汲黯又责难诋毁他们。不久，公孙弘升为丞相，封为平津侯；张汤官至御史大夫；昔日汲黯手下的郡丞、书史也都和汲黯同级了，有的被重用，地位甚至还超过了他。汲黯心窄性躁，不可能没有一点儿怨言，朝见皇上时，他走上前说道：“陛下使用群臣就像堆柴垛一样，后来的堆在上面。”皇上沉默不语。一会儿汲黯退了下去，皇上说：“一个人确实不可以没有学识，看汲黯这番话，他的愚直越来越严重了。”

　　时隔不久，匈奴浑邪王率部众降汉，朝廷征发两万车辆前去接运。官府无钱，便向百姓借马。有的人把马藏起来，马无法凑齐。皇上大怒，要杀长安县令。汲黯说：“长安县令没有罪，只要杀了我，百姓就肯献出马匹了。况且匈奴将领背叛他们的君主来投降汉朝，朝廷可以慢慢地让沿途各县准备车马把他们顺序接运过来，何至于让全国骚扰不安，使我国人疲于奔命地去侍奉那些匈奴的降兵降将呢！”皇上沉默无言。及待浑邪王率部到来，商人因与匈奴人做买卖，被判处死罪的有五百多人。汲黯请得被接见的机会，在未央宫的高门殿见到了皇上，他说：“匈奴攻打我们设在往来要路上的关塞，断绝和亲的友好关系，我国发兵征讨他们，战死疆场与负伤的人数不胜数，而且耗费了数以百亿计的巨资。臣我愚蠢，以为陛下抓获匈奴人，会把他们都作为奴婢赏给从军而死的家属，并将掳获的财物也就便送给他们，以此告谢天下人付出的辛劳，满足百姓的心愿。这一点现在即使做不到，浑邪王率领几万部众前来归降，也不该倾尽官家府库的财物赏赐他们，征调老实本分的百姓去伺候他们，把他们捧得如同宠儿一般。无知的百姓哪里懂得让匈奴人购买长安城中的货物，就会被死抠法律条文的执法官视为将财物非法走私出关而判罪呢？陛下纵然不能缴获匈奴的物资来慰劳天下人，又要用苛严的法令杀戳五百多无知的老百姓，这就是所谓‘保护树叶而损害树枝’的做法，我私下认为陛下此举是不可取的。”皇上沉默，不予赞同，而后说：“我很久没听到汲黯的话了，今日他又一次信口胡说了。”事后数月，汲黯因犯小法被判罪，适逢皇上大赦，他仅遭免官。于是汲黯归隐于田园。