光绪三十一年九月，他任户部右侍郎，补授度支部右侍郎，参与开办天津造币厂及大清银行。十一月，奉命到南方各省考察造币厂，先后到开封、武昌、南京、清江浦、广州、福州、安庆等地的铸币厂考察，认为各厂贪污风行，厂务废弛，急需整顿。他揭发福建铜元局马景融贪污集团，全国22个银元局核定留办7局，其他各局责令停止。为杜绝流弊，他制定善后办法，如规定银元成色，限制各厂铸币数额，统一铸模等，为币制统一奠定基础。

　　光绪三十二年，清政府成立邮传部，作为管理全国邮电、轮船、铁路的重要行政权力机构。次年四月，陈璧升任邮传部尚书兼参预政务大臣。他力行改革，严禁官吏挪用公款，贪污腐败等行为，废除官吏乘火车、运货免价特权，实行存款保密等一系列措施。五月间，他在《整顿币制以维圜法》的奏折里，提出金融改革计划，颁布《币制则例》，规定以银元为本位制。七月，陈璧奏请清政府铺设铁路四大主干线及支线，建议以北京为中心，南由京汉路接粤汉路；北由京张路至库伦、哈克图；东由京奉铁路至绥芬；西从正太路接至伊犁。他还积极争取将列强在中国的路权逐步收归国有。年底，他奏准创立交通银行，作为筹集路政、邮电资金的金融机构。清政府批准在全国试行他提出的印花税法。

　　光绪三十四年，他根据中比借款合同规定，提前将借款全部还清，收回京汉铁路经营权，改订沪宁路章程，收回用人权。同时，他奏准由邮传部以优惠价收回靠近边境的商办电线。经他努力，“路已成八千里而远，电报所达六万里有奇，邮政则在都会郡城大半设立，航业则长江内海渐次推行，虽发达未敢骤言，规模实已粗具”。他在任内十分重视科学研究，设立交通研究所，奖励学者、科技人员对邮电、水陆交通进行研究、改革。为筹措兴办邮、电、轮、路的大额资金，他提出借外债和内债的主张，他认为借外债必须力杜“债东干涉事权”，“方足取益防损”。按此原则，他先后向英国汇丰银行借款500万英磅，分30年还清。此款除作为还清京汉铁路的借款外，余额充作筹办实业之用。他推行国内第一期公债，总额1000万元，规定年息7厘，12年期，可以自由买卖。他对此颇有信心，曾宣称：“将来各项振兴实业需要，皆可取给于此”。把发行公债作为发展实业筹措资金的主要财源。

　　陈璧为官清正，他推行兴利除弊的改革措施，触犯一些满洲贵族官僚的利益，遭到激烈反对。光绪三十五年，御史谢远涵劾奏陈璧“滥用私人，糜费公款”等罪名，命大学士那同、孙家鼐查办，复奏：“该尚书才优于德，办事操切，不恤人言”，交部议，革职罢官。

　　陈璧被罢官后，寓居苏州。宣统三年(1911年)，移居天津。民国元年(1912年)，由津迁沪，翌年移居北京，于西城筑“苏园”寓居，日以“种花莳蔬”自娱。晚年，他不忘乡梓教育，曾写信建议苏坂学堂改革课程，增设学科，使“里中子弟益得向学之途”。还修刊族谱，捐产立义庄赡养本族孤寡。民国十一年再由北京迁天津，民国十七年3月26日病逝。著有《望岩堂奏稿》。