李调元在离开杭州时，夸下海口：“江南才子，比不过四川的牧牛童子！”有一杭州秀才不信，要入川探个究竟。他在行往巴蜀途中，遇上一个四川的牧童，问之：“小童，你识对否？”牧童以为是“对歌”，便点头示意。才子以半山高塔出对：“铁塔巍巍，七层八面四方。”要牧童应对，牧童不知咋对，在过河分手时，便向其招了招手而去！才子后来找到李调元，细说所见，质问于他。李当即回答：“小子，人家牧哥早与你对好了呀！”才子惊问：“咋个对的？”对曰：“遇水摇摇，五指三长两短！”从此，江南文人再也不敢小视四川人了。
藏书第一家
李调元罢官后，回到家乡四川安县宝林镇（古名叫南村坝），在其父亲李化楠修建的醒园（今罗江县文星镇）居住期间。建楼一座，名曰“万卷楼”。书库建于乾隆五十年（1785）。其楼四周“风景擅平泉之胜，背山临水，烟霞绘辋川之图，手栽竹木渐成林。”他以赞赏的心情将万卷楼所在园林取名“ 园”，并赋诗：“园初筑亦悠然，地狭偏能结构坚。叠石为山全种竹，穿池引水半栽莲。拈花偶笑人称佛，戴笠行吟自谓仙。曾到名山游脚倦，此生只合老丹铅。”（《 园杂咏》）
李调元万卷楼实际上是一座藏书十万卷（省称“万卷”）的庞大书库，时人称为“西川藏书第一家”。李调元诗：“我家有楼东山北，万卷与山齐嵯峨。”藏书“分经、史、子、集四十橱，内多宋椠，抄本尤伙”。李调元每天“登楼校雠”，手不释卷。
李调元万卷楼的宝贵藏书，应是他和父亲两代人不辞辛劳、辗转购求的丰硕成果。父子两人爱书成癖，尤喜藏书，只要遇到前朝珍稀本、善本，不惜重金求购。李化楠在浙江、河北任知县、知府时， 遍购古今珍贵书籍。李调元从浙江省亲返川，将父所购书籍船装航行数千里运回老家入书库。李调元成年后，购买珍稀、善本书籍也是他一生中最大的嗜好，在做官期间，“所得俸，悉以购书”。
李调元除了多年大量购买外，藏书中还有不少系其手抄版本。李调元有抄书之癖，凡家中所无之书，即借别人所藏图书抄写。他作京官时曾如饥似渴地广抄大内藏书。其藏书中，“御库抄本，无一不备”。
