朱元璋即皇帝位后，刘基上奏制定军卫法。当初确定处州税粮时，仿照宋制每亩加五合，唯独青田县除外，太祖这么说道“：要让刘伯温家乡世代把此事传为美谈。”太祖巡幸汴梁时，刘基与左丞相李善长一起留守京城。刘基认为宋、元两朝都因为过于宽纵而失天下，所以应该整肃纲纪，于是便下令御史检举弹劾，不要有任何顾忌，宿卫、宦官、侍从中，凡犯有过错的，一律奏明皇太子，依法惩治，因此人人都畏惧刘基的威严。中书省都事李彬因贪图私利，纵容下属而被治罪，李善长一向私宠李彬，故请求从宽发落，刘基不听，并派人骑马速报太祖，得到批准，刘基便在祈雨时，将李彬斩首。因为这件事，刘基与李善长开始不和。太祖返京后，李善长便向太祖告状，说刘基在坛土遗下杀人，是不敬之举。那些平时怨恨刘基的人也纷纷诬陷刘基。当时正逢天旱，太祖要求诸臣发表意见，刘基上奏说：“士卒亡故者，他们的妻子全部迁往他营居住，共有数万人，致使阴气郁结。工匠死后，腐尸骨骸暴露在外，将投降的吴军将吏都编入军户，便足以协调阴阳之气。”太祖采纳了他的意见，但十天过后仍不见雨，故而发怒。此时恰好刘基的妻子死了，所以刘基请求告辞还乡。太祖正在营造中都，又积极准备消灭扩廓。刘基临走上奏说“：凤阳虽是皇上的故乡，但不宜作为建都之地。王保保不可轻视。”不久，定西之役失利，扩廓逃往沙漠，从那时起一直成为边患。这年冬天，太祖亲自下诏，叙说刘基征伐之功，召他赴京，赏赐甚厚，追赠刘基的祖父、父亲为永嘉郡公，并多次要给刘基进爵，刘基都固辞不受。

不徇私情
　　太祖因事要责罚丞相李善长，刘基劝说道“：他虽有过失，但功劳很大，威望颇高，能调和诸将。”太祖说：“他三番两次想要加害于你，你还设身处地为他着想？我想改任你为丞相。”刘基叩首说道“：这怎么行呢？更换丞相如同更换梁柱，必须用粗壮结实的大木，如用细木，房屋就会立即倒坍。”后来，李善长辞官归居，太祖想任命杨宪为丞相，杨宪平日待刘基很好，可刘基仍极力反对，说：“杨宪具备当丞相的才能，却没有做丞相的气量。为相之人，须保持像水一样平静的心情，将义理作为权衡事情的标准，而不能搀杂自己的主观意见，杨宪就做不到。”太祖又问汪广洋如何，刘基回答：“他的气量比杨宪更狭窄。”太祖接着问胡惟庸，刘基又回答道：“丞相好比驾车的马，我担心他会将马车弄翻。”太祖于是说道“：我的丞相，确实只有先生你最合适了。”刘基谢绝说：“我太疾恶如仇了，又不耐烦处理繁杂事务，如果勉强承担这一重任，恐怕要辜负皇上委托。天下何患无才，只要皇上留心物色就是了。这几个人确实不适合担任丞相之职。”后来，杨宪、汪广洋、胡惟庸都因事获罪。