乾隆四十年（1775），李调元升迁文选司员外郎。乾隆四十二年（1777），因湖南巡抚公文措辞失当，他按规定不与画押。吏部尚书阿桂堂、舒赫德大发雷霆，在考察京官时，将李调元填入“浮躁”一类。乾隆帝见表册所填19人均年迈多病，惟独李调元年富力强，就询问吏部尚书：“李调元何事浮躁？”吏部大臣回复：“过于逞能。”乾隆帝一笑置之，诏令李调元仍为吏部员外郎。是年八月，李调元升任广东学政，临行前为乾隆帝召见，应对中肯，皇帝再三勉励。乾隆四十六年（1781），他任满回京复命，乾隆帝又在勤政殿召见，问其广东总督、巡抚以下官员事。李调元如实对答，乾隆帝十分满意。
次日，李调元即擢任直隶通永兵备道。第二年，李调元奉旨护送一部《四库全书》去盛京（今沈阳），因途中遇雨，沾湿黄箱而获罪，被流放新疆伊犁效力；旋经袁守侗搭救，从流放途中召回，发回原籍，削职为民。他深感仕途坎坷，吉凶莫测，于是绝意仕进。有人劝他设法复职，他以东坡诗咏答说：“便从洛社休官去，犹有闲居二十年。”又在《小西湖看荷》一诗中写道：“谁开玉镜泻天光，占断人间六月凉。长羡鸳鸯清到底，一生受用藕花香。”这些诗表明了李调元与官场决裂、洁身自好、纵情山水的志趣。
倾毕生之力构筑《函海》
李调元是清代蜀中一怪才，他在学术文化上的成功决非偶然。这首先要归结到他的家学渊源，同时也是他个人先天禀赋与后天坚持不懈、刻苦努力的结果。
李调元的父亲李化楠，号石亭，历任知县、府台同知等，一生力行善事，任上颇有政声，著有《万善书稿》、《石亭诗集》、《醒园录》等书。李调元受父亲影响，自幼爱好读书，涉猎范围极广，凡诸子百家、经史子集、诗词歌赋、天文地理，无所不览。他利用在吏部任职的机会，饱读大内典籍、御库秘本，勤奋披阅、抄录，“于是内府秘藏，几乎家有其书矣”。在任职京师或奉旨外巡期间， 虽不能埋头读书，但在“公余之暇，犹手不释卷”。去职回籍后， 他更是以读书、写作为乐，“啸傲山水，以著述自娱”，与钱塘袁枚、阳湖赵翼、丹徒王文治诸先生齐名，人称“林下四老”。他深感学海无涯、光阴催人，“念日月之以逝，恐文献之无征……恐一旦填沟壑，咎将谁归？ ”（同治四年《罗江县志》卷二十四）他因而废寝忘食，以苦读为乐事，无一日之懈。
