至元二十年（1283年），加翰林集贤院学士、同领会同馆。

　　至元二十三年（1286年），他当面向忽必烈提出：“首先应兴建国学，请求派遣使者到江南去，搜访遗逸。御史台、按察司都应参酌使用南北之人。”忽必烈欣然同意了。次年，立尚书省，忽必烈下诏以他为参政政事，他一再推辞。忽必烈计划任命他为御史中丞，台臣说：“程钜夫是个南人，况且年轻，不可重用。”忽必烈大怒说：“你没有用过南人，怎么知道南人不可用。自今省部台院都必须参插用南人。”于是程钜夫仍以集贤直学士职，加拜侍御史台事，不久，朝廷派他奉诏往江南一带徵访贤能。

　　起初，书写诏令都是用蒙古文字，自决定派人到江南搜访遗逸以后，忽必烈特地命令可以用汉字书写诏令。临行时对程钜夫说：“早就听说赵孟頫、叶李二人有名望，请务必招此二人来。”程钜夫到江南以后，除招致二人进京外，又举荐了余惩、万一鄂、张伯淳、胡梦魁等二十余人，均一一安排了台宪及文学之职。程钜夫回到朝廷后，将他在民间所看到的治政利病上奏给忽必烈，希望朝政有所改进，这在客观上，有利于阶级矛盾的缓和。由于推荐南人出仕的措施与他礼贤好士、兴儒重文的态度与行动，大大缓和了蒙汉之间的民族矛盾，也使蒙人逐渐接受了汉人的高度文化。后来元朝廷能够恢复科举、编修图书等文教事业，莫不与程钜夫的意见有关。

　　至元二十四年（1287年），元朝复设中书省，授程钜夫为参知政事，他坚辞不就。又命其为御史中丞，言官认为程钜夫是南方人又年轻，不宜重用。忽必烈斥之，并规定各部院必须选用南人。遂以集贤院直学士拜侍御史，行御史台事。程钜夫奉诏前往江南求贤，并以汉字书写诏书。经其荐举，赵孟頫、吴澄等二十余人均被安置台宪或文学之职。还朝，奏陈民间利弊五事；授集贤学士，仍还行台。

　　得授重任

　　至元二十六年（1289年），丞相桑哥专权，法令苛急，四方骚动。程钜夫时任江南行台御史，他毅然入朝上疏，请求弹劝桑哥。他面见忽必烈，直言：“臣听说天子之职，最重大的事就是选择宰相。宰相之职，最重要的事就是迸贤任能，如果不以进贤为急务，只是用心事在增殖财货上，这就不是为上为德、为下为民之意。从前汉文帝向相国周勃问及刑狱与钱谷事，周勃回答不出来。推说，刑狱事应问廷尉，钱谷事应问治粟内史。汉文帝不悦，因为宰相要上理阴阳，下顺万物之宜，对外镇抚四夷，对内亲附百姓。这是宰相的职责。如今权奸用事，所任命的官员，大多是贪财邀利之人，江南一带，盗贼不断，就是因此之故。臣认为应罢除贪利之官，推行恤民之事，这对国家是大有好处的。”桑哥闻知大怒，将他竭留京师，不放回江南，并六次奏请杀他，忽必烈均未准许。