桓玄篡位以后，骄奢荒侈，游猎无道，通宵玩乐。即使是桓伟下葬的日子，桓玄在日间哭丧但夜晚就已去游玩了，有时甚至一日之间多次出游。又因桓玄性格急躁，呼召时都要快速，当值官员都在省前系马备用，令宫禁内烦杂，已经不像朝廷了；另桓玄又兴修宫殿、建造可容纳三十人的大乘舆。百姓更因而疲惫困苦，民心思变。北府旧将刘裕、何无忌与刘毅等人于是乘时举义兵讨伐桓玄。
永始元年（404年）二月二十七日，刘裕等人正式举兵，计划在京口（今江苏镇江）、广陵（今江苏扬州市）、历阳和建康四地一同举兵。其中刘裕派了周安穆向建康的刘毅兄刘迈报告，通知他作内应，然而刘迈惶恐，后更以为图谋被揭向桓玄报告，桓玄初封刘迈为重安侯，但后又以刘迈没有及时收捕周安穆，于是杀害刘迈和其他刘裕于建康的内应。原于历阳举兵的诸葛长民亦被刁逵所捕，但刘裕等终也成功夺取了京口和广陵，镇守两地的桓修和桓弘皆被杀。
刘裕率义军进军至竹里，桓玄加桓谦为征讨都督。桓谦请求桓玄派兵攻刘裕，但桓玄畏于刘裕兵锐，打算屯兵覆舟山等待刘裕，认为对方自京口到建康后见到大军必然惊愕，且桓玄军坚守不出，对方求战不得，会自动散走。不过桓谦坚持，桓玄就派了顿丘太守吴甫之及右卫将军皇甫敷迎击。不过二人皆在与刘裕作战中战死，桓玄大惧，就召见一众会道术的人作法试图对抗刘裕。后桓玄又命桓谦、何澹之屯东陵，卞范之屯覆舟山西，共以二万兵抵抗刘裕。不过刘裕进至覆舟山东时故设疑兵，令敌方以为刘裕兵力众多，桓玄得报后更派庾赜之率兵增援诸军。然而，因为刘裕的兵众大多是北府军出身，故桓谦军队都畏惧刘裕，未有战意，而刘裕则领兵死战，并乘风施以火攻，终击溃桓谦等。
在桓玄派桓谦等抵抗刘裕时，其实已经萌生离去的念头，并命殷仲文准备船只。桓谦等败后，桓玄就于三月二日与一众亲信西走。桓玄当天没有进食，随行人员就进糙米饭给桓玄，但桓玄吞不下，年幼的桓升抱着桓玄抚慰他，更令桓玄忍不住心中悲伤。
桓玄一行一直逃到寻阳，得江州刺史郭昶之供给其物资及军队。后挟持晋安帝至江陵，在江陵署置百官，并且大修水军，不足一个月就已有兵二万，楼船和兵器都显得很强盛的样子。不过桓玄西奔后怕法令不能认真执行，就轻易处以死刑，故令人心离异。
