张伯端坐累谪岭南兵籍后，由于官场无望，遂在“晚年浪迹云水（今广东乐昌县），访求大道”。治平年间（1064~1067年），适逢余杭陆介夫知桂州，得以“引置帐下，典机要”。熙宁二年（1069年），陆介夫改知成都，张伯端随同前往，在成都天回寺遇异人，“以夙志不回，初成愈格，遂感真人授金丹药物火候之诀”。陆介夫死后，张伯端失去依托，遂“自成都归于故山”。回临海后，“筑室于山青水绿之中，乃扬罄然而怡怡然，若有所得。客传于市曰：遭贬张平叔归于山矣”。其后，张伯端再次出山，“转秦陇”。并遵陆介夫遗嘱，往荆南（今湖北江陵）得转运使马处厚资助，“择兴安之汉阴山中（今陕西紫阳县紫阳洞）修炼”。最后，张伯端回到临海隐居，往来于灯坛、盖竹、龙顾及天台的桐柏、赤城之间。
元丰五年（1082年），张伯端在百步（今临海百步）“天炎浴水中”，趺坐而化。所留《尸解颂》云：“四大欲散，浮云已空。一灵妙有，法界圆通”。弟子“用火烧化得舍利千百，大者如芡实，色皆绀碧”。张伯端死后，百步乡里在其羽蜕之地立“紫阳化身处”纪念碑。南宋庆元三年（1197年），台州郡守叶筑改城内黄牛坊桥为“悟真”桥，以示对张伯端的纪念。后又有悟真坊、悟真庙等纪念性的街区和建筑出现。明嘉靖四十四年（1565年），台州府推官张滂在百步修建紫阳庵，并重修碑石，题曰：“重修紫阳题诗碑记”。清雍正十年（1732年），世宗皇帝敕封张伯端“大慈圆通禅仙紫阳真人”号。并亲撰《道观碑文》，命工部主事刘长源来临海，于其故居璎珞街和羽化地百步，及天台山桐柏宫，各建“紫阳道观”一所，用以祀祠张伯端。

　　张伯端的出名，是因为其所著的《悟真篇》。《悟真篇》体现了张伯端炼养思想的总成，是南宗的代表著作。张伯端在书中力主内丹，“要得谷神长不死，须凭玄牝立根基。真精既返黄金屋，一颗明珠永不离“。主张按照万物化生的法则，反其道而修炼自己的精、气、神。书中还吸取了老子的哲学思想，利用它来说明内丹的修炼方术，并加以深化和发展，使之成为自己内丹学说的理论基础。

　　《悟真篇》成书于临海，熙宁三年（1070年），张伯端“丹成返台州，传道授徒”。因丹法“三传非人，三遭祸患”，学者多为“逐名利”。遂萌发著书之意，于熙宁八年（1076年）在临海著成是书，使有缘者能“寻文解义”。有所心得。故陈耆卿《嘉定赤城志》亦载其自成都得“金丹术归，以所得萃成秘诀八十一首，号《悟真篇》”。