弘治十一年（1498年）秋，刘大夏连上三疏称病辞官，归乡后在东山下筑草堂，在堂中读书，被时人称为“东山先生”。弘治十三年（1500年），廷臣纷纷举荐刘大夏，起任右都御史，统管两广军务。奉旨使者上门，刘大夏带二僮仆起程。两广人故来思念刘大夏，得知他即来任职都欢欣鼓舞。刘大夏到任后，清理吏治，减免官费供应，禁止镇守官私自役使军士，盗贼因此逐渐减少。

　　弘治十五年（1502年），刘大夏被任命为兵部尚书，他屡次推辞未获准，这才接受。不久，孝宗召见他，孝宗说：“朕数次任用你，你数次称病而去是为什么？”刘大夏磕头说：“臣年老又有病，看见国家民穷财尽，倘若有所不测，责任在兵部，自己估量力不从心，因此而辞。”孝宗听了沉默不语。南京、凤阳大风将树拔起，河南、湖广发生水灾，京师久雨成灾。刘大夏奏请凡属非祖宗留下的旧制而危害军民的，一一列举呈上革除。至弘治十七年（1504年）二月，刘大夏再次奏请。孝宗命有关部门呈报所应实行与该革除的事例，有关部门全都按实奏报，时逢廷臣奏陈十六件事，都是对权贵所不利的，因此权贵们极力阻止，孝宗拿不定主意，下廷议再讨论。刘大夏等说：“事属朝廷外官，全都批准。稍稍涉及权贵，又令讨论核实。臣等很愚蠢，不知为什么？”许久，才得旨：“将传奉官的姓名奏疏上报，幼匠、厨役月每减米三斗；增设宦官、司礼监核实奏告；四卫勇士，御马监将名册报来。其余全照前次所议办理。”织造、斋醮都停办，仅俸禄就节省很大数目，而勇士虚报冒领之弊也大为减少。皇帝的命令一下，举朝欢悦。先前，外戚、近幸都不是以功受爵，而是出于皇帝的私恩，孝宗深知这样于政有害，发奋振作朝纲。因灾异多次出现，又告谕群臣，令各陈朝政的过失。刘大夏又奏陈数事。

　　弘治十五年（1502年）六月，刘大夏第二次奏陈兵政的十害，并且要求辞官回乡。孝宗不答应，要他将各应该革除的弊端更详细地全部奏闻，于是，刘大夏举出南北军队陆路水路轮流值班运粮的劳苦，以及边军困倦疲惫、边将克扣的情况全都奏报。孝宗于是在便殿召见刘大夏，问道：“卿先前说天下民穷财尽。祖宗以来征收有常法，为什么现在这样？”刘大夏回答：“就是说没有按常法征取。如向广西每年取铎木，从广东取香、药，花费以万来计算，其他就可想而知了。”孝宗又问到军队，他回答：“与百姓一样穷。”孝宗说：“居有月粮，出有行粮，什么缘故会穷？”刘大夏答道：“其帅克扣超过一半，怎会不穷？”孝宗叹息道：“朕执政这久，还不知天下军民贫困，怎样做人君！”于是下诏严禁。当时，孝宗正锐意太平，而以刘健为首辅，马文升以师臣（少师兼太子太师，初任兵部尚书，后改吏部尚书）领导六部，史称“众正盈朝”。孝宗察知刘大夏正直严谨，并且办事熟练，尤其信任他。数次召见他判别事情，刘大夏也在各事上为孝宗尽力。