汉十二年（前195），皇上随着击败黥布的军队回来，病势更加沉重，愈想更换太子。留侯劝谏，皇上不听，留侯就托病不再理事。叔孙太傅引证古今事例进行劝说，死命争保太子。皇上假装答应了他，但还是想更换太子。等到安闲的时候，设置酒席，太子在旁侍侯。那四人跟着太子，他们的年龄都已八十多岁，须眉洁白，衣冠非常壮美奇特。皇上感到奇怪，问道：“他们是干什么的？”四个人向前对答，各自说出姓名，叫东园公、角里先生、绮里季、夏黄公。皇上于是大惊说：“我访求各位好几年了，各位都逃避着我，现在你们为何自愿跟随我儿交游呢？”四人都说：“陛下轻慢士人，喜欢骂人，我们讲求义理，不愿受辱，所以惶恐地逃躲。我们私下闻知太子为人仁义孝顺，谦恭有礼，喜爱士人，天下人没有谁不伸长脖子想为太子拼死效力的。因此我们就来了。”皇上说：“烦劳诸位始终如一地好好调理保护太子吧。”

　　四个人敬酒祝福已毕，小步快走离去。皇上目送他们，召唤戚夫人过来，指着那四个人给她看，说道：“我想更换太子，他们四个人辅佐他，太子的羽翼已经形成，难以更动了。吕后真是你的主人了。”戚夫了哭泣起来，皇上说：“你为我跳楚舞，我为你唱楚歌。”皇上唱道：“天鹅高飞，振翅千里。羽翼已成，翱翔四海。翱翔四海，当可奈何！虽有短箭，何处施用！”皇上唱了几遍，戚夫人抽泣流泪，皇上起身离去，酒宴结束。皇上最终没更换太子，原本是留侯招致这四个人发生了效力。

　　留侯跟随皇上进攻代国，在马邑城下出妙计，以及劝皇上立萧何为相国，他跟皇上平常随便谈论天下的事情很多，但由于不是关于国家存亡的大事，所以未予记载。留侯宣称道：“我家世代为韩相，到韩国灭亡，不惜万金家财，替韩国向强秦报仇，天下为此震动，如今凭借三寸之舌为帝王统师，封邑万户，位居列侯，这对一个平民是至高无上的，我张良已经非常满足了。我愿丢却人世间的事情，打算随赤松子去遨游。”张良于是学辟谷学术，行道引轻身之道。正值高帝驾崩，吕后感激留侯，便竭力让他进食，说：“人生一世，时光有如白驹过隙一样迅速，何必自己苦行到这种地步啊！”留侯不得已，勉强听命进食。

　　过后八年，留侯去世，定谥号叫文成侯。他儿子张不疑袭封为侯。

　　张子房当初在下邳桥上遇见那个给他《太公兵法》的老丈，在别后十三年他随高帝经过济北，果然见到谷城山下的黄石，便把它取回，奉若至宝地祭祀它。留侯去世，一起安葬了黄石。以后每逢扫墓以及冬夏节日蔡祀张良的时候，也同时蔡祀黄石。

　　留侯张不疑，在孝文帝五年（前175）因犯了不敬之罪，封国被废除。

　　太史公说：学者大多说没有鬼神，然而又说有精怪。至于像留侯遇见老丈赠书的事，也够神奇的了。高祖遭遇困厄的情况有多次了，而留侯常在这种危急时刻建功效力，难道可以说不是天意吗？皇上说：“出谋划策于营帐之中，决定胜负在千里之外，我比不了子房。”我原以为此人大概是高大威武的样子，等到看见他的画像，相貌却像个美丽的女子。孔子说过：“按照相貌来评判人，在对待子羽上就有所失。”对于留侯也可以这样说。

　　留侯张良者，其先韩人也。大父开地，相韩昭侯、宣惠王、襄哀王。父平，相釐王、悼惠王。悼惠王二十三年，平卒。卒二十岁，秦灭韩。良年少，未宦事韩。韩破，良家僮三百人，弟死不葬，悉以家财求客刺秦王，为韩报仇，以大父、父五世相韩故。