扩廓帖木儿去世后，元太尉纳哈出依然屡次入侵辽东。太祖让马云、叶旺等人严加戒备，等纳哈出再来的时候进行伏击，结果元军大败，纳哈出仓皇逃走，从此北塞就安定了。
江山坐稳以后，太祖一直想把兵权从武将的手里收回来，只因北方还没有彻底平定，南方也还有元朝余孽，一时不便撤兵，只好先这么着，但太祖心里总有些介怀，于是决定大修文治。
明朝建立伊始，中华大地经过近二十年战乱的破坏，一片凋敝。对此情形，太祖实行了发展生产，与民休息的政策。太祖称帝不久，外地州县官来朝见，太祖对他们说：“天下初定，老百姓财力困乏，像刚会飞的鸟，不可拔它的羽毛；如同新栽的树，不可动摇它的根。现在重要的是休养生息”。
太祖接受大臣建议，鼓励开垦荒地，颁下法令：北方郡县荒芜田地，不限亩数，全部免三年租税。他还采取强制手段，把人多地少地区的农民迁往地广人稀的地区；对于垦荒者，由政府供给耕牛、农具和种子，免税三年，所开垦出来的土地归垦荒者所有；还规定，有五亩至十亩田的农民，必须栽种桑、棉、麻各半亩，有十亩以上田地的加倍种植。这些措施大大激发了农民垦荒的积极性。
除了民屯外，明朝初年还有军屯和商屯。军屯由卫所管理，官府提供耕牛和农具。明军队屯守的比例是：边地军队三分守城，七分屯田；内地军队二分守城，八分屯田。军粮基本上自给自足。商屯是指商人在边境雇人屯田，就地交粮，省去了贩运费用，获利更大。商屯的实行，解决了军粮问题，同时也开发了边疆。
为了恢复和发展生产，太祖也十分重视兴修水利和赈济灾荒。在即位之初，太祖就下令，凡是百姓提出有关水利的建议，地方官都必须及时奏报，否则加以处罚。到洪武二十八年，全国一共开塘堰大约40987处，疏通河流大约4162道，成绩显著。
太祖出身农民，深知灾荒给农民造成的痛苦，在他即位后，常常减免受灾和受战争影响地区的农民的赋税，或者给以救济。太祖还十分爱惜民力，提倡节俭。他即位后，在应天修建宫室，只求坚固耐用，不求奇巧华丽，还让人在墙上画了许多历史故事以提醒自己时时注意。
按照惯例，太祖使用的车舆、器具等物，应该用黄金装饰，但太祖下令让人全部以铜代替。主管的官员报告说用不了很多黄金，太祖坚持说，他不是吝惜这点黄金，而是提倡节俭，自己应作为典范。
在太祖的积极推动下，农民的生产热情高涨。明初农业发展迅速，一改元末农村的残破景象。
洪武二年，太祖昭告天下，兴建学校，选拔学官，并坚持把“教育工作”作为衡量地方官政绩的重要指标。为了选拔能听命于皇帝的官吏，明朝政府规定科举考试只许在四书经义范围内命题，考生只能根据指定的观点答卷，不准发挥自己的见解。所有郡县都要设立学堂，每三年举行一次科举考试，还有乡试和会试等。乡试定在八月，会试定在二月，每三年考一次，每次考试分三场。第一场考四书经义，第二场考写文章，第三场考经史实务策论。
自古以来，禁锢人思想最好的方法莫过于科举，想高中想飞黄腾达的少年郎们，无论是谁都必须埋头苦读，竭力钻研，有的到老都没有高中过，大好的光阴就这么虚度了。
太祖曾说过：“科举让天下所有的英雄都归我了。”可见太祖的本意并不是振兴中国文化，只是想借科举笼络人心。
到了后来，太祖又将四书经义改为八股文，考试的范围越来越狭窄，学子们迎合出题者的意图，都从八股文入手，满口的之乎者也，迂腐不堪，没有一点实际用处。这种流毒一直延续了五六百年才得到改革，真是让人痛恨。后人将始作俑者看成太祖并非冤枉了他。
太祖喜欢四处征求贤才，专门派人去寻找高人隐士和元室旧臣。
山东有一位叫田兴的侠士，因为经商经常来往于江淮之间。太祖有一次在郊外生了病，田兴正好路过救了他，并和太祖结为了异姓兄弟。后来太祖四处征讨时，田兴曾给太祖写信揭发军中的不法行为，但没有写自己的名字。太祖猜到是田兴，于是惩处了相关的人，唯独遗憾信上没有写田兴的住址。
洪武三年，江北六合、来安一带有老虎害人，官府重金悬赏英雄打虎，田兴挺身而出，十日内杀死了七只老虎，当地百姓都欢呼不已，争着设宴款待田兴，而官府的赏银，田兴却一分没要。这事传到京师，太祖料到打虎的人是田兴，随即派人去请他，可田兴不愿赴约，太祖于是又派人送去亲笔书信。
他在信中写道：
元璋见弃于兄长，不下十年，地角天涯，无从晤觌。近闻兄在江北，为除虎患，不禁大喜。遣使敦请，不我肯顾。未知何开罪至此？人之相知，莫如兄弟。我二人虽非同胞，情逾骨肉。昔之忧患，与今之安乐，所处各当其时。元璋固不为忧乐易交也。世未有兄因弟贵，而闭门逾垣，以为得计者，皇帝自皇帝，元璋自元璋，元璋不过偶然作皇帝，并非一作皇帝，便改头换面，不是朱元璋也。本来我有兄长，并非作皇帝便视兄长如臣民也。国家事业，兄长能助则助之，否则听兄自便，只叙兄弟之情，不谈国家之事。美不美？江中水，清者自清，浊者自浊，再不过江，不是脚色。兄其听之！
田兴看到信后，盛情难却，终于还是来了京城，太祖亲自出城迎接他，对他格外亲昵，简直比对自己的亲人还要上心。
一个月后，太祖在席间偶然谈起了国事，田兴立马正色道：“君无戏言，皇上答应了臣不谈国事。”太祖于是不敢再谈国事。后来田兴又屡次想离开京城，太祖苦苦挽留他，他才只好答应在京城住下来，不幸的是没多久便去世了。
太祖找寻的贤才还有元朝的行省参政蔡子英。
自从元朝灭亡之后，蔡子英跟着扩廓帖木儿逃到定西，扩廓帖木儿战败逃走后，蔡子英就一个人在关中的山上四处流亡。太祖听说了他后，命人将他的相貌画了下来，派人四处寻找。
后来，蔡子英被汤和抓住，对汤和做了一个长揖，却不肯拜他。汤和让他下跪，蔡子英不肯，汤和于是让人用火烧他的胡须，蔡子英还是面不改色。汤和只好将他押回京城，太祖却亲自为蔡子英解开枷锁，待他十分和气。
太祖本想授予蔡子英官职，但他始终不肯接受，并且语气诚恳地上书说：
陛下乘时应运，削平群雄，薄海内外，莫不宾贡。臣鼎鱼漏网，假息南山，曩者见获，复得脱亡，重烦有司追迹。而陛下以万乘之尊，全匹夫之节，不降天诛，反疗其疾，易冠裳，赐酒馔，授以名爵，陛下之恩，包乎天地矣。
臣非不欲自竭犬马，但名义所存，不敢辄渝初志。自惟身本韦布，知识浅陋，过蒙主将知荐，仕元十有五年，愧无尺寸功以报国士之遇。及国家破亡，又复失节，何面目见天下士？管子曰：“礼义廉耻，国之四维。”今陛下创业垂统，正当挈持大经大法，垂示子孙臣民，奈何欲以无礼义寡廉耻之俘囚，而厕诸新朝贤士大夫之列哉？臣日夜思维，咎往昔之不死，至于今日，分宜自裁，陛下待臣以恩礼，臣固不敢卖死立名，亦不敢偷生苟禄。若察臣之愚，全臣之志，禁锢海南，毕其生命，则虽死之日，犹生之年。昔王蠋闭户以自缢，李芾阖门以自屠，彼非恶荣利而乐死亡，顾义之所在，虽汤镬有不得避也。眇焉之躯，上愧古人，死有余恨，惟陛下裁察！
太祖看到蔡子英的奏章后对他更加敬重。一晚，蔡子英忽然大哭不止，别人问他什么原因？蔡子英说想起了旧主。太祖知道他很难回心转意了，就命人将他送出塞外，让他继续跟着元主。
除了蔡子英以外，还有元朝行省都事伯颜子中也是一位忠君的奇才。
伯颜子中原先驻守赣州，陈友谅攻破赣州后，伯颜子中招募兵马和他对战，结果兵败，逃去了福建。陈友定封伯颜子中做员外郎，后来又慢慢升到了吏部侍郎。伯颜子中被廖永忠抓住时，廖永忠曾恐吓他投降，伯颜子中誓死不屈，廖永忠只好放他离开了。之后伯颜子中一直隐姓埋名游走于江湖上。现在太祖对他求之不得，便扣留了他的妻子，不料，伯颜子中却不为所动。
后来明布政使沈立本将他举荐给了太祖，太祖当即派使者前来重金聘请，伯颜子中得知消息后，叹息道：“现在死都来不及了啊！”接着作下七篇诗歌，饮药自尽了。
伯颜子中一生苦读，虽未中举，但学识渊博，善于用诗歌抒发思想情感。他的《春日绝句》《过乌山铺》等佳作，无不是以细腻的笔触、空灵的情调，刻画出江南水乡的暮春景色，并以形象的描绘、直率的抒情，道出了自己痛苦难耐的心境。
太祖担心自己久居深宫闭目塞听，就常常带着几名亲信微服出行，一方面为了探访能人贤士，另一方面为了视察吏治，调查民情，所以江淮一带，经常能找到太祖的踪迹。
相传太祖有一次来到多宝寺，看到大殿的幢幡上全部写的是多宝如来的佛号，便对侍从说：“寺名多宝，有许多多宝如来？”
学士江怀素听了，脱口答道：“国号大明，无更大大明皇帝。”马屁拍得真是绝对，太祖大喜，立刻升任江怀素为吏部侍郎。
接着，太祖来到后院，见一扇门上贴有一张纸条，上面写着维扬陈君佐住在此处。陈君佐年轻的时候极有才华，且豪放不羁，跟太祖还有过一面之缘。太祖见到字条后叫他出来相见。陈君佐出来了，太祖笑着问他说：“你当初幽默滑稽，我们一别这么久，你还像以前那样伶牙俐齿吗？”
陈君佐不作声。
太祖又问他：“朕现在得了天下，你觉得我像以前哪个皇帝呀？”
陈君佐开口说：“陛下当初蛰伏的时候常吃草根啃树皮，及奋飞淮泗，行军打仗的时候和士兵同甘共苦，吃粗粮野菜，臣认为，陛下像神农皇帝，否则怎么能一再尝百草？”
太祖听了拍掌大笑，令他随行。
路上经过一间酒肆，太祖和陈君佐进去饮酒。酒肆很小，除了有酒和豆子外，什么菜都没有。太祖这时又出了一个对子：“小村店三杯五盏，没有东西。”
陈君佐随口接道：“大明君一统万方，不分南北。”
太祖又大笑起来，对陈君佐说：“你跟朕回去，当个词臣，怎么样？”
陈君佐说：“陛下跟唐尧虞舜相比毫不逊色，不过人各有志，我想陛下应该让臣自由离去。”太祖也不再强迫他，两人告别后就各自回去了。
过了几天，太祖在微服出行的路上偶遇一个儒生。太祖见他文采风流，就停下和他聊了起来。儒生自称是重庆府的监生，太祖于是出了个对联考他：“千里为重，重水重山重庆府。”
儒生不假思索地回答：“一人为大，大邦大国大明君。”太祖听了非常高兴，又问了他的住址后才跟他告别。第二天，太祖派人赏赐他千金，儒生这才知道遇上了太祖，高兴不已。
太祖还曾在元宵节的时候出去赏花灯、猜灯谜。
有次，太祖看到有一盏花灯上画着一个妇人，手里怀抱着西瓜坐在马上，马蹄很大。太祖不禁大怒，回去之后就让人将做灯谜的人杖责打死。刑部觉得莫名其妙，忙问原因。
太祖怒气冲冲地说：“亵渎皇后是大不敬之罪，还敢说宽恕？”后来研究起来才知道，原来马皇后是淮西——“怀西”人，而且是大脚，灯谜的寓意就是指马皇后有一双大脚，所以太祖才这么生气。
太祖还曾写过这样一首诗：
百僚已睡朕未睡，百僚未起朕先起。
不如江南富足翁，日高一丈犹拥被。
江南有一位富豪，名叫沈秀，绰号沈万三。太祖进入金陵时想修筑加固城墙，但苦于没有足够的资金，于是就和沈秀商议，沈秀愿意和太祖一起出资修墙，并约定两人各修一半。太祖以同时筑就为约，沈秀允诺，两人随即当下招募劳工杂役日夜赶造，等到两人都完工的时候，沈秀比太祖早了三天竣工。
太祖表面上对他大加抚慰，暗地里却对此事耿耿于怀。
后来沈秀修筑苏州街时用了几块茅山石，太祖便说他擅自开采山脉，将他关进了大牢，预备赐他死罪。
马皇后知道了这件事后，替沈秀求情，太祖说：“平民百姓都富可敌国，这是不祥呀！”
马皇后说：“国家立法都是用来诛不法，没有听说过诛不祥呀。百姓富可敌国和国法又有什么关系呢？”太祖不得已，只好将沈秀杖责后流放云南。后来沈秀死在半路上，万贯家财全部充公。
苏州某富翁听说这件事以后，暗自叹息说：“皇上对富人积怨已久，怕是马上会大祸临头了。”于是他到处做好事，将家财全部散光。
后来太祖果然吹毛求疵地诛杀富人，被赐死的各地富豪不计其数，唯独那位已经破产的苏州富翁得以幸免。
明初，官僚机构基本上沿袭了元朝，太祖逐渐认识到其中的弊病，于是进行了改革。
首先是废除行省制。洪武九年，太祖宣布废除行中书省，设立承宣布政使司、都指挥使司和提刑按察使司，分别担负行中书省的职责，三者分立又互相牵制，防止了地方权力过重。
在军事上，太祖废除了管理全国军事的大都督府，将其分为中、左、前、后、右五军都督府，并和兵部互相牵制。兵部有权颁发命令，但是不直接统帅军队，都督府掌管军队的管理和训练，但是没有调遣军队的权力。这样，军权就集中在了太祖手里。
明初中书省负责处理天下政务，地位最高。长官分为左、右丞相，位高权重。在明朝开国元勋里，武臣功劳最大的要数徐达和常遇春，文臣则数李善长和刘伯温。刘伯温知道太祖的个性，所以加官晋爵一概推辞不受。李善长则做了右丞相，晋爵韩国公。
日子长了，李善长有些恃宠而骄，太祖便有意将他换掉，刘伯温劝他说：“李善长资历最老，能服众，不应轻易换掉他。”
太祖说：“李善长经常揭你的短，你还要替他说情吗？朕就让你来做右丞相。”
刘伯温低下头，说：“这就像要换大堂里的柱子，一定要用大木材，如果用小木材，不是木折就是房屋倒塌，臣就是小材，怎么能做丞相呢？”
太祖说：“那杨宪怎么样？”
刘伯温回答说：“杨宪有丞相之才，没有做丞相的器量。”
太祖又问：“汪广洋呢？”
刘伯温又说：“他的器量还不如杨宪。”
太祖又问胡惟庸，刘伯温连连摇头说：“不行不行，小人物一经重用一定心比天高，如果用他的话恐怕会招来祸端。”太祖只好默不作声了。
后来杨宪犯了诬陷罪被正法，李善长辞去了丞相一职，太祖竟然任用汪广洋为右丞相、胡惟庸为左丞相。
汪广洋在位的两年里，庸庸碌碌毫无建树。而胡惟庸不但狡黠多端，还很会奉承太祖，渐渐地太祖对他更加宠信了。后来太祖干脆罢免了汪广洋的右丞相一职，改任胡惟庸。
刘伯温感叹道：“胡惟庸得志，一定会是百姓的祸害啊。希望我的话没有应验，那就是百姓之福了。”这话被胡惟庸知道后，一直怀恨在心。他有次唆使刑部尚书吴云弹劾刘伯温，诬陷他想在有王气的地方建墓，图谋不轨，应该加以重罚。太祖似信非信，但还是扣除了刘伯温的俸禄。
刘伯温忧愤成疾，在服下几服药后反而觉得更不适了，后来竟然不能进食，没过多久就不行了。太祖派人将刘伯温护送回青田，一个多月后刘伯温就逝世了。
后来胡惟庸伏法被彻查的时候，太祖才知道刘伯温原来是被胡惟庸给毒死的，不禁感到无比痛惜，无奈木已成舟，就是后悔也来不及了。
胡惟庸除掉刘伯温后更加肆无忌惮，简直是为所欲为。
魏国公徐达密奏太祖，说胡惟庸是奸人，太祖没说什么，却不知怎么被胡惟庸知道了，于是又记恨上了徐达。
胡惟庸本想勾结徐达身边的人暗害他家主子，结果弄巧成拙被徐达知道了他的阴谋，吓得慌了好几天，幸好没有什么风声，这才放下心来。小人就是这样。一计不成又生一计，胡惟庸把侄女嫁给了李善长的侄子，和李善长结成了亲家。李善长虽然已经不做丞相了，但仍然得宠，有时出入宫中，免不了替胡惟庸说几句好话。胡惟庸有了李善长这座大靠山，又渐渐骄纵起来。
这时候，胡惟庸的老家定远旧宅里的井中忽然长出了竹笋，高达数尺，一些趋炎附势的门客都说这是瑞兆。又有人传说，胡家的祖坟上每天晚上都亮着红光。胡惟庸听到这些消息，更加自负。
后来，德庆侯廖永忠不慎僭越了身份，太祖便指责他悖逆，赐他自尽了。又有平遥训导叶伯巨上书说，太祖分封的赏赐太过奢侈，刑罚太复杂，吏治有些急于求成。这些也都触怒了太祖，叶伯巨的下场自然也很惨。这两件事过后，朝中的大小官员都开始人人自危了起来。
安吉侯陆仲亨和平凉侯费聚都遭到了太祖的严厉斥责。两人心里忐忑不安。胡惟庸于是就乘机勾结他们，将他们变为自己的羽翼，让他们在外面招兵买马。随后又悄悄勾结了御史中丞陈宁，私自翻阅了兵籍，广招天下的勇夫做自己的护卫，并将那些亡命之徒收拢来做自己的心腹。后来，胡惟庸又托亲家李存义试着说服他的哥哥李善长谋逆。李善长起初大惊失色，根本不敢想这种株连九族的事情。后来经李存义再三提及，李善长开始有些动摇，不再那么反对，变得模棱两可。
胡惟庸见李善长没有反对，以为大事可成，立即派遣明州卫指挥林贤下海招来倭寇，又派元朝旧臣封绩写信给北边的元帝，请他做外应。真是丧心病狂。
胡惟庸正在日夜谋划着叛变，忽然听到了汪广洋被赐死一事，形势突然变得紧迫了起来。原来，汪广洋被罢相之后，胡惟庸又将他引荐，让他继续做丞相，这些年胡惟庸那些不法的行为汪广洋虽然知道但是都没有说。后来御史中丞涂节上书太祖，说刘伯温是被毒害而死，汪广洋知情不报。太祖于是判汪广洋欺君，将他贬到云南，不久又下诏赐死。胡惟庸害怕东窗事发，就一面贿赂涂节，一面继续勾结日本倭寇准备谋反。
洪武十三年正月，胡惟庸上奏太祖，谎称自家宅子的井里出现甘泉，邀太祖前去。太祖信以为真，下令移驾胡惟庸府上，一行人刚走出西华门，这时，内使云奇突然冲上前来拦在队伍前面，好像有话要说，却又发不出声。太祖以为他故意不敬，让左右将他拖下去痛打。云奇右臂被打折，奄奄一息的时候却仍用手指着胡惟庸府邸的方向。太祖这才明白过来，忙返回城内登上城楼一看，只见胡惟庸的府里戒备森严，站着许多人马，太祖方才知道胡惟庸想要谋逆，于是立刻派出羽林军前去抓捕。
涂节得知消息后，为了避免大祸临头，就想出一个办法替自己脱罪。他急忙跑去禀告太祖，说胡惟庸准备谋逆犯上。话没说完，羽林军就已经将胡惟庸绑来了。太祖亲自审讯他，但胡惟庸一开始还不肯承认，后经涂节作证，方才供认不讳，太祖于是下令将胡惟庸拖出去凌迟处死。真是：
怪底人君好信谀，怕闻吁咈喜都俞。
佞臣多是苍生蠹，磔死吴门未蔽辜。
田兴不肯留在京都，蔡子英一臣不事二主，伯颜子中坦然自裁，这些仁人义士的所作所为都值得表扬。只是伯颜子中的七章诗歌已经无从搜集了，真是可惜。明太祖的微服出行在正史中没有记录，只在野史中提到过。他喜欢听阿谀奉承的好话，所以杨宪、汪广洋、胡惟庸等人才有机会登上大堂，虽然后来都依法处置了，但他们给社稷仍然带来不少危害。刘伯温虽然有先见之明，还是躲不过被毒害的命运，不能跟小人一起共事就是这个道理。
