景星显见,信星彪列,象载昭庭,日亲以察。
参侔开阖,爰推本纪,汾脽出鼎,皇佑元始。
五音六律,依韦飨昭,杂变并会,雅声远姚。
空桑琴瑟结信成,四兴递代八风生。
殷殷钟石羽龠鸣。河龙供鲤醇牺牲。
百末旨酒布兰生。泰尊柘浆析朝酲。
微感心攸通修名,周流常羊思所并。
穰穰复正直往宁,冯蠵切和疏写平。
上天布施后土成,穰穰丰年四时荣。
光绪二十一年后,先后任湖广道监察御史,代理陕西道监察御史、刑科给事中、吏部掌印给事中等职。他以言官职便奏请保护华侨、惩处任意敲诈勒索华侨的官吏。他也主张把台湾暂租给西方列强,以避免落入日本之手。光绪二十二年三月,奉命管理街道事务。六月回闽奔丧,见福建船政局造船业不景气,曾三次奏请整顿船政,提出“开自然之利”的改革方案,力主开采侯官县穆源铁矿,利用船政局现有的机械设备进行冶炼,产品供船政局使用,并由船政局铸造洋钱流通市场,以增加财政收入。他还建议利用现有船政局闲置船只,发展客、货运输;利用船厂机器设备优势,兼营民用产品,并奏请朝廷委派大臣整顿厂风。他的主张先后被采纳施行,对促进福建船政局资本主义经营方式的发展起重要作用。光绪二十三年,他主讲凤池书院,增设时务、论策等讲习新内容,使“闽中学风为之一变”。同时,他还创建苍霞精舍,授以英文、算学新课程,是福建创办近代学堂的先声。次年,受命在籍创办地方团练,并赴建宁黎山试开煤矿。
光绪二十五年,陈璧回京销假,调任山西道监察御史。次年,奉旨在京办理团练,力主对义和团运动加以镇压,曾率团勇打死义和团10余名。七月二十日,慈禧太后出逃西安,陈璧留守北京。八国联军侵占北京期间,他主持总理公所,所出告示均列“大清年号”。他还联合在京的33名官员,电请李鸿章回京主持“和局”,因此,得到清政府赏识。
光绪二十七年七月,陈璧升任太仆寺少卿兼顺天府尹,受命会办五城事宜,主持修建东西陵工程。此期间,他重视教育和实业的发展,先后创办京师工艺局、顺天中学堂、金台校士馆及五城中学。在顺天中学堂开设英文、日文、法文等新学科。工艺局是一所半工半读的新型学校,招收少年游民编织景泰蓝、刻字、制作木器、织布等,并教以物理、化学、算学、机械学、绘图学等专业知识,还设有专利权,鼓励学员的创造性和积极性。同年六月,他在工艺局中腾出地方创办农务学堂,聘用日本农业专家教授农、桑、水利、饲养的新方法,另在南苑建立农业科学试验场,还计划在迁安县(今属河北省)试验科学养蚕。光绪二十九年八月,清政府新设商部,陈璧任右侍郎,参与定官制、订商律、兴商会、保侨民以及制订土货等章程。十月,卸顺天府尹任,十二月转商部左侍郎。
光绪三十一年九月,他任户部右侍郎,补授度支部右侍郎,参与开办天津造币厂及大清银行。十一月,奉命到南方各省考察造币厂,先后到开封、武昌、南京、清江浦、广州、福州、安庆等地的铸币厂考察,认为各厂贪污风行,厂务废弛,急需整顿。他揭发福建铜元局马景融贪污集团,全国22个银元局核定留办7局,其他各局责令停止。为杜绝流弊,他制定善后办法,如规定银元成色,限制各厂铸币数额,统一铸模等,为币制统一奠定基础。
光绪三十二年,清政府成立邮传部,作为管理全国邮电、轮船、铁路的重要行政权力机构。次年四月,陈璧升任邮传部尚书兼参预政务大臣。他力行改革,严禁官吏挪用公款,贪污腐败等行为,废除官吏乘火车、运货免价特权,实行存款保密等一系列措施。五月间,他在《整顿币制以维圜法》的奏折里,提出金融改革计划,颁布《币制则例》,规定以银元为本位制。七月,陈璧奏请清政府铺设铁路四大主干线及支线,建议以北京为中心,南由京汉路接粤汉路;北由京张路至库伦、哈克图;东由京奉铁路至绥芬;西从正太路接至伊犁。他还积极争取将列强在中国的路权逐步收归国有。年底,他奏准创立交通银行,作为筹集路政、邮电资金的金融机构。清政府批准在全国试行他提出的印花税法。
光绪三十四年,他根据中比借款合同规定,提前将借款全部还清,收回京汉铁路经营权,改订沪宁路章程,收回用人权。同时,他奏准由邮传部以优惠价收回靠近边境的商办电线。经他努力,“路已成八千里而远,电报所达六万里有奇,邮政则在都会郡城大半设立,航业则长江内海渐次推行,虽发达未敢骤言,规模实已粗具”。他在任内十分重视科学研究,设立交通研究所,奖励学者、科技人员对邮电、水陆交通进行研究、改革。为筹措兴办邮、电、轮、路的大额资金,他提出借外债和内债的主张,他认为借外债必须力杜“债东干涉事权”,“方足取益防损”。按此原则,他先后向英国汇丰银行借款500万英磅,分30年还清。此款除作为还清京汉铁路的借款外,余额充作筹办实业之用。他推行国内第一期公债,总额1000万元,规定年息7厘,12年期,可以自由买卖。他对此颇有信心,曾宣称:“将来各项振兴实业需要,皆可取给于此”。把发行公债作为发展实业筹措资金的主要财源。
陈璧为官清正,他推行兴利除弊的改革措施,触犯一些满洲贵族官僚的利益,遭到激烈反对。光绪三十五年,御史谢远涵劾奏陈璧“滥用私人,糜费公款”等罪名,命大学士那同、孙家鼐查办,复奏:“该尚书才优于德,办事操切,不恤人言”,交部议,革职罢官。
陈璧被罢官后,寓居苏州。宣统三年(1911年),移居天津。民国元年(1912年),由津迁沪,翌年移居北京,于西城筑“苏园”寓居,日以“种花莳蔬”自娱。晚年,他不忘乡梓教育,曾写信建议苏坂学堂改革课程,增设学科,使“里中子弟益得向学之途”。还修刊族谱,捐产立义庄赡养本族孤寡。民国十一年再由北京迁天津,民国十七年3月26日病逝。著有《望岩堂奏稿》。