又被任命为享受三百石俸禄的官长，管理百姓。由于皇帝出巡时陈设帷帐供给使用的事情没有做，被罢免官职。

　　这以后就做了卫青将军的门客，和田仁在一起，都做门客，住在将军府里，二人知心友爱。这二人都家中贫困，没有钱去买通将军的管家，管家让他们喂养主人的烈马。两人同床而眠，田仁悄悄地说：“太不了解人了，这个管家！”任安说：“将军尚且不了解人，何况他是管家呢？”一次卫将军让他俩跟随自己拜访平阳公主，公主家的人让他们俩和骑奴同在一张席子上吃饭，这两人拔刀割裂席子和骑奴分席而坐。公主家的人都惊异而厌恶他俩，也没有谁敢大声喝斥。

　　后来皇帝下诏书征募选拔卫将军的门客做自己的侍从官，将军挑选了门客中富裕的人，让他们准备好鞍马、绛衣和用玉装饰的剑，然后想去进宫报告。正好贤能的大夫、少府赵禹前来拜访卫将军，将军召集所举荐的门客给赵禹看。赵禹依次考问他们，十多个人中没有一个通晓事理有智谋的。赵禹说：“我听说，将军家中一定有能当将军一类的人才。古书说：‘不了解那个国君看一看他任用的人，不了解那个人看一看他结交的朋友。’现在皇帝下诏书命令举荐将军门客的原因，想要以此看一看将军能够得到怎样贤德的人和文武人才。现在只是挑选有钱人的子弟上报，这些人没有智谋，就像木偶人穿上锦绣衣服罢了，你准备怎么办呢？”于是赵禹召集卫将军的全部门客一百多人，又依次考问他们，发现了田仁，任安，说：“只有这两个人行啊，其余的都没有能够任用的。”卫将军看到这两个人贫困，内心忿忿不平。赵禹走后，对他们俩人说：“各人自己去准备鞍子和新绛衣等。”两人回答说：“家中贫困没有可用的东西。”卫将军发怒说：“现在您两位自己是贫穷的，为什么说出这样的话呢？愤愤不平的样子好像对我有过恩德，这是为什么？”卫将军出于无可奈何，只得写了报告让皇帝闻知。皇帝下达诏书召集卫将军的门客，这两个人前去拜见，皇帝召见时询问他们的才智情况让他们互相推举评价。田仁回答说：“手执鼓槌，站立军门，使部下甘心情愿为战斗而死，我不如任安。”任安回答说：“决断嫌疑，评判是非，辨别属下的官员，使百姓没有怨恨之心，我不如田仁。”汉武帝大笑着说：“好！”让任安监护北军，让田仁到黄河边上监护边塞的屯田和生产谷物的事情。这两人马上名播天下。