贬谪江州
　　815年，宰相武元衡遇刺身亡，白居易上表主张严缉凶手，被认为是越职言事。其后白居易又被诽谤：母亲看花而坠井去世，白居易却著有“赏花”及“新井”诗，有害名教。遂以此为理由贬为江州（今江西九江）司马。818年，白居易的弟弟白行简至江州与白居易相聚。当白居易被任命为忠州刺史时，白行简也一同与兄长溯江而上。途中与元稹相遇于黄牛峡，三人相游之处被称为三游洞。在忠州任职的时间，白居易在忠州城东的山坡上种花，并命名此地为“东坡”。同年冬，被任命为忠州（今重庆市忠县）刺史，819年到任。820年夏，被召回长安，任尚书司门员外郎。

　　白居易的母亲虽因看花坠井去世，然而白居易早有许多咏花之作，而依宋代的纪录，新井诗作于元和元年左右（新井诗今已失传），可见此事不能构成罪名。他被贬谪的主因，很可能与他写讽谕作品而得罪当权者有关。贬谪江州是白居易一生的转折点：在此之前他以“兼济”为志，希望能做对国家人民有益的贡献；至此之后他的行事渐渐转向“独善其身”，虽仍有关怀人民的心，表现出的行动却已无过去的火花了。然而白居易在江州虽不得志，大体上仍能恬然自处，曾在庐山香炉峰北建草堂，并与当地的僧人交游。

任职苏杭
　　820年冬，转任主客郎中、知制诰。821年，加朝散大夫，始正式著五品绯色朝服，（绯色即朱色，为五品以上官员所用的服色）。转上柱国，又转中书舍人。822年，白居易上书论当时河北的军事，不被采用，于是请求到外地任职，7月被任命为杭州刺史，10月到任。任内有修筑西湖堤防、疏浚六井等政绩。824年5月，任太子左庶子分司东都，秋天至洛阳，在洛阳履道里购宅。825年，被任命为苏州刺史，5月到任。826年因病去职，后与刘禹锡相伴游览于扬州、楚州一带。

　　在杭州刺史任内，见杭州有六口古井因年久失修，便主持疏浚六井，以解决杭州人饮水问题。又见西湖淤塞农田干旱，因此修堤蓄积湖水，以利灌溉，舒缓旱灾所造成的危害，并作《钱塘湖石记》，将治理湖水的政策、方式与注意事项，刻石置于湖边，供后人知晓，对后来杭州的治理湖水有很大的影响。离任前，白居易将一笔官俸留在州库之中作为基金，以供后来治理杭州的官员公务上的周转，事后再补回原数。当这笔基金一直运作到黄巢之乱时，当黄巢抵达杭州，文书多焚烧散失，这笔基金才不知去向。