李贤为太子期间与武后关系紧张。当时有个术士明崇俨深得高宗和武后信赖，曾对武后说“太子不堪承继，英王（武后第三子）貌类太宗”，又言“相王（武后幼子）相最贵”，李贤听闻后深感厌恶。当时皇宫中有流言说李贤不是武后亲生，而是武后的姐姐韩国夫人与高宗的儿子。李贤顿生疑虑，感到恐惧。武后又送《少阳政范》和《孝子传》给李贤，以责备他不懂得为人子、为太子，还曾亲手书信斥责，李贤越发感到不安。
废为庶人
调露二年（680年），明崇俨被强盗杀害，武后怀疑是太子所为，于是派人揭发李贤阴谋，在东宫马房里找到数百具铠甲，命令薛元超、裴炎、高智周办理此案。高宗一向喜爱李贤，想要宽恕他，但武后却说：“为人子心怀谋逆，应该大义灭亲，不能赦免罪行。”于是李贤未能洗清罪责，被废为庶人，幽禁在长安。收缴的铠甲在天津桥焚毁，以昭告天下。太子的近臣张大安、刘讷言等人遭到贬职流放，连坐者十多人。
《资治通鉴》对太子事发记载了另段插曲：李贤平日颇好声色，养户奴赵道生为男宠，多赐之金帛，曾有东宫官员上书劝谏不听。太子事发后，赵道生供认是太子命他刺杀明崇俨。
永淳二年（683年），李贤被流放到偏僻的巴州。走时妻儿仆从衣缕单薄，十分凄凉。皇太子李哲（即李显）为此上书恳请帝后怜悯，稍赐春冬衣物。
被迫自尽
文明元年（684年），高宗驾崩，中宗李显继位，但仅一个多月就被武后废黜而改立睿宗李旦，武后由此把持朝政。不久后命令左金吾卫大将军丘神勣前往巴州检查庶人李贤的住宅，以防备谋反隐患。丘神勣到巴州后将李贤囚禁于他室，逼令自杀，年仅二十九岁。 武则天得知李贤死讯后曾在洛阳显福门举哀。
身后追封
垂拱元年（685年），武则天诏令恢复李贤雍王爵位。神龙初年（705年），唐中宗李显复位，追赠李贤司徒官爵，并遣使者到巴州迎回李贤灵柩，以亲王身份陪葬乾陵。景云二年（711年），唐睿宗追加李贤皇太子身份，谥号“章怀”，与太子妃房氏合葬于章怀太子墓。
