乐毅留在齐国巡行作战五年，攻下齐国城邑七十多座，都划为郡县归属燕国，只有莒和即墨没有收服。这时恰逢燕昭王死去，他的儿子立为燕惠王。惠王从做太子时就曾对乐毅有所不满，等他即位后，齐国的田单了解到他与乐毅有矛盾，就对燕国施行反间计，造谣说：“齐国城邑没有攻下的仅只两个城邑罢了。而所以不及早拿下来的原因，听说是乐毅与燕国新即位的国君有怨仇，乐毅断断续续用兵故意拖延时间姑且留在齐国，准备在齐国称王。齐国所担忧的，只怕别的将领来。”当时燕惠王本来就已经怀疑乐毅，又受到齐国反间计的挑拨，就派骑劫代替乐毅任将领，并召回乐毅。乐毅心里明白燕惠王派人代替自己是不怀好意的，害怕回国后被杀，便向西去投降了赵国。赵国把观津这个地方封给乐毅，封号叫望诸君。赵国对乐毅十分尊重优宠借此来震动威慑燕国、齐国。

　　齐国田单后来与骑劫交战，果然设置骗局用计谋迷惑燕军，结果在即墨城下把骑劫的军队打得大败，接着辗转战斗追逐燕军，向北直追到黄河边上，收复了齐国的全部城邑，并且把齐襄王从莒邑迎回都城临淄。

　　燕惠王很后悔派骑劫代替乐毅，致使燕军惨败损兵折将丧失了占领的齐国土地；可是又怨恨乐毅投降赵国，恐怕赵国任用乐毅乘着燕国兵败疲困之机攻打燕国。燕惠王就派人去赵国责备乐毅，同时向他道歉说：“先王把整个燕国委托给将军，将军为燕国战败齐国，替先王报了深仇大恨，天下人没有不震动的，我哪里有一天敢忘记将军的功劳呢！正遇上先王辞世，我本人初即位，是左右人耽误了我。我所以派骑劫代替将军，是因为将军长年在外，风餐露宿，因此召回将军暂且休整一下，也好共商朝政大计。不想将军误听传言，认为跟我有不融洽的地方，就抛弃了燕国而归附赵国。将军从为自己打算那是可以的，可是又怎么对得住先王待将军的一片深情厚意呢？”乐毅写了一封回信给惠王，信中说：

　　臣下没有才干，不能恭奉您的命令，来顺从您左右那些人的意愿，我恐怕回国有不测之事因而有损先王的英明，有害您的道义，所以逃到赵国。现在您派人来指责我的罪过，我怕先王的侍从不能体察先王收留、宠信我的道理，又不清楚我用来奉事先王的诚心，所以冒昧地用信来回答。