至元二十四年（1287年），桑哥奏请设立尚书省，诬告杀参政郭佑、杨在宽。不忽木争不到，桑哥很恨他，曾经手指不忽木对妻子说：“将来登记我们家的就是这人啊。”因为他回家吃饭，责备他不上班处理事务，欲加之罪，于是因病免职。世祖回到自己上都，他的弟弟野礼审班侍坐辇中，世祖说：“你哥哥一定会在某一天来迎接。”不忽木果然在这一天到。皇帝见他瘦得很，问他的俸禄多少，左右的人回答说他病得体力不济，世祖念在他的贫穷，命令全部给他。

　　至元二十七年（1290年），任命翰林学士承旨、知制诰兼修国史。至元二十八年（1291年）春，世祖到柳林打猎，彻里等人弹劾上奏桑哥罪状，世祖召问不忽木，详细地回答。世祖大为震惊，于是决定杀了他。罢免尚书省，再以六部归于中书，想用不忽木为丞相，坚决推辞，世祖说：“我过去听桑哥，使天下不安，现在虽然后悔，已经来不及了。我记得你小时候，让你学习，正是要准备今天的使用，不要推辞。”不忽木说：“朝廷元勋旧，大臣还有很多，现在不到用我，无法服众。”世祖说：“那么谁可以？”回答说：“太子詹事完泽可以。抄阿合马家，阿合马贿赂近臣，都有文书，只有没有完泽名；又曾说桑哥是相，一定要败坏国家大事，现在果然像他说的那样，因此知道他可以的。”世祖说：“既然你决定了，就不是我的事了。”于是拜完泽右丞相，不忽木做平章政事。

　　上都留守木八剌沙说改为按察司设置廉访司不方便，应该予以停止，于是请求宪臣贪污罪来引起君主关注。世祖因此责问中丞崔彧，崔彧推托有病。不忽木排斥崔彧不直接说，于是一一陈述不能停止的说法，世祖于是释放。

　　朝廷大军征讨交趾失利，再图谋大举，不忽木说：“岛夷诡诈，天子的威势临到，难道你不害怕，兽走投无路了就会咬，形势使他这样。现在他的儿子继承王位，如果派一个使者，晓以祸福，他们能悔过自新，就不用兵而下了。如果不悔改，再出兵也不晚。“世祖听从了。于是交趾感到害怕，派遣他的伪昭明王等人到朝廷谢罪，尽献前六年所应当进贡物品。皇帝高兴地说：“你一句话的作用。”就把其中的一半给他，不忽木推辞说：“这是陛下神武不杀所导致，我又有什么功劳呢。”只有接受沉入水假山、象牙镇纸、水晶笔格而已。