朱元璋出生在贫苦农民家庭，很小就给地主放牛。1344年，他家乡安徽凤阳一带发生了严重的旱灾、虫灾、瘟疫。朱元璋的“父母兄相继死于旬日之内”。十七岁的朱元璋无依无靠，就到附近的皇觉寺当了和尚。不久，寺庙打发他以“化缘”为名去乞讨。在三年的“游方僧”生涯中，他走遍了安徽、河南许多地方。亲眼看到元朝末年贪官污吏夺取民财，强占民女。广大农民被田赋、徭役盘剥得背井离乡，死在路上。他愤然喊出：“官吏多不恤民，往往贪财好色，饮酒废事，凡民疾苦，视之漠然，心实怒之。”因此，他立志反元、反腐。
朱元璋二十五岁弃僧从戎，投到以郭子兴为头领的反元部队——红巾军中。
在郭子兴部队的基础上，逐渐招募了很多农民，还通过招降、俘虏、规劝等方法，收编了许多元朝官军和其他反元集团的人。他们大多是农民出身，受过元朝官、兵和豪绅欺压，有反元的积极性，但农民意识严重，生活散漫，自私自利。这支部队在郭子兴死后由朱元璋率领，南征北战，屡立战功。许多将领和士兵就出现了居功自傲、违法乱纪现象。特别是来自元军和其他反元集团的人，原来就纪律很差，归顺以后恶习未除，一有战功，就有恃无恐，肆意横行，强占民财民田，霸占民女，嗜酒妄杀。面对这种现象，朱元璋就把整军当做反腐的当务之急，狠抓不怠。
元至正十五年(1355年)一月，朱元璋受郭子兴之命初任“总兵”去增援和阳。先到和阳的是郭子兴的内弟张天祐。张入和阳“暴横多杀人”，把女人集中起来，准备带回滁州。朱元璋赶到和阳，就严整军纪，放归女人，使家人团聚，“人民大悦”。以后，朱元璋取太平，据金陵，以至以后的一系列政治军事活动中，无数次大整军纪。
朱元璋治军整军的特点是狠抓将，继抓兵。他派将出征以前，都告诫将士：征战并非为“略地攻城”，重要的是“平祸乱以安民生”。“城下之日，勿夺民财，勿毁民居，勿废农具，勿杀耕牛，勿掠人子女，有犯令者，处以军法。纵之者，罚无赦。”朱元璋发现将领有问题，就严肃处理。他曾对徐达、常遇春等将领说：“闻尔等所畜家僮乃有恃势骄姿，逾越礼法，此不可不治也。小人无忌，不早惩治之，他日或生衅隙，宁不为其所累？”朱元璋严诫诸将，将官也严管部下。
朱元璋治军整军的另一特点是“言到法随”。取太平以前，朱元璋就令人写好“戒戢军士”的榜文，一入城，便将榜文张贴出去。有士卒欲行“剽掠”，一见榜文，“愕然不敢动”。有一名士兵违令而行，被斩首示众。此后，全城“肃然”，“人心悦服”。朱元璋治军的再一特点是赏罚严明。洪武三年(1370)大封功臣时，他对那些论战功该封高一级爵位，因有违法乱纪行为的人，如汤和、赵庸等四人，封了低级爵位。而对那些不自私贪财，服从调迁的人，如李文忠、邓愈二人，则封高级爵位。
正因为朱元璋严格治军整军，他的军队纪律严明。史载：取镇江，“号令严肃，民不知有兵”。下婺州，“民皆按堵”。入南昌，“军令肃然”。武昌降，“士卒无敢入城，市井晏然”。其后攻杭州、苏州、大都等，都有类似的记载。开国以后，针对武将干预地方事务的作法，他下令：“民间词讼，虽事涉军务者，均归有司申理，毋得干预”;“遇有造作，……其合用物料，并自官给，毋擅取予民。”不许军人干预地方政务，不许军队直接向居民征用器物，就有效地从源头上避免了军队的腐败现象。
在整饬军纪的同时，朱元璋更加关注政府官员的反腐问题。随着战争的节节胜利，逐步建立了各级地方政权，其官员多是留任的元朝官吏，腐败恶习严重地沿袭着。朱元璋说：“元朝之所以失天下，就在其官吏贪得无厌，……然此风流传至今，未有遏制，如蝼蚁蝇蚋本性难移一样，贪官污吏随处皆是，不思悔改。”面对官吏“掌钱谷者盗钱谷，掌刑名者出入刑名”的腐败现象，必须整饬政纪。