宋元璋即皇帝位后,刘基上奏制定军卫法。当初确定处州税粮时,仿照宋制每亩加五合,唯独青田县除外,太祖这么说道:“要让刘伯温家乡世代把此事传为美谈。”太祖巡幸汴梁时,刘基与左丞相李善长一起留守京城。刘基认为宋、元两朝都因为过于宽纵而失天下,所以现在应该整肃纲纪,于是便下令御史检举弹劾,不要有任何顾忌,宿卫、宦官、侍从中,凡犯有过错的,一律奏明皇太子,依法惩治,因此人人都畏惧刘基的威严。中书省都事李彬因贪图私利,纵容下属而被治罪,李善长平时和李彬关系密切,请求从宽发落。刘基不听,并派人骑马速报太祖,得到批