唐玄宗虽被说服，但百官仍疑惧不安。黄门监卢怀慎道：“蝗虫乃是天灾，岂是人力所能除。况且杀虫太多，有伤天和。”姚崇道：“楚惠王吞蛭治好痼疾，孙叔敖斩蛇得到福报。如今蝗虫可以驱除，若任其成灾，粮食将被食尽，到时百姓怎么办？灭蝗救人，如果天降灾殃，有我姚崇承担，绝不会推诿给您。”卢怀慎无言以对。

　　地方官员对灭蝗之举仍有反对意见。汴州刺史倪若水进言道：“只有修德才能消除天灾，前赵刘聪除蝗不成反而招致更大的危害。”他拒绝御史的指挥，不肯灭蝗。姚崇写信责备道：“刘聪篡逆之君，德不胜妖，陛下圣明之主，妖不胜德。古时州有良守，蝗虫不敢入境，如果说修德可以免除蝗灾，发生蝗灾就是无德造成的么？”倪若水不敢抗拒，只得配合捕杀蝗虫。在姚崇的坚持下，蝗灾的危害被减小到最低限度，虽然连年蝗灾，也没造成大面积的饥荒。

晚年荣宠

　　姚崇在京城没有住宅，寓居在罔极寺中，因疟疾卧床不起。唐玄宗每日派遣使者数十人，前去探病，每遇军国重事，都命黄门监源乾曜去征求他的意见。后来，唐玄宗采纳源乾曜的建议，命姚崇搬入四方馆居住，并准许他的家属侍疾。姚崇认为四方馆存有官署文书，不是病人居住之地，极力推辞。唐玄宗道：“设置四方馆本就是为官员服务，朕安排您住进来，是为国家考虑。如果可能，朕恨不得让您住进宫里，您不要推辞！”

　　姚崇虽是一代贤相，但却教子无方。其子姚彝、姚异广交宾客，招权纳贿，遭到舆论的非议。中书主书赵诲接受胡人贿赂，因事情败露，被唐玄宗定为死罪，姚崇也极力营救。玄宗对此非常不悦，在赦免京城罪囚时，特意在敕文中注明，将赵诲流放岭南。姚崇为此忧惧不安，数次请辞相位，并推荐广州都督宋璟继任宰相。不久，姚崇被罢去宰相之职，改任开府仪同三司。

　　唐玄宗虽将姚崇罢相，但对他仍极为尊崇，让他五日上朝一次，遇到重大政事也专门征询他的意见。720年（开元八年），唐玄宗封姚崇为太子少保，但他却因病没有接受。

　　721年（开元九年），姚崇病逝，终年七十二岁，追赠扬州大都督，谥号文献。729年（开元十七年），唐玄宗又追赠姚崇为太子太保。