洪武三年，明太祖朱元璋大封功臣，说：“善长虽无汗马劳，然事朕久，给军食，功甚大，宜进封大国。”(《明史·李善长传》)
李善长被授开国辅运推诚守正文臣、特进光禄大夫、左柱国、太师、中书左丞相，封韩国公。在朱元璋加封的开国六大国公中，“善长位第一”，统兵征战的徐达次之。而与李善长一样为朱皇帝造反称帝出谋划策、运筹帷幄且决胜千里的刘伯温，只得了一个诚意伯、御史中丞。
李善长与刘伯温相比，确实不一样。李善长虽不是进士出身，也非元朝官员，更没有刘伯温那么多神机妙算，但他也有不少真本事。他“少读书有智计，习法家言，策事多中”。尤其他自荐追随朱元璋以来，“为参谋，预机画，主馈饷”，被朱元璋甚是亲信。
朱元璋无论是做大元帅、中书省平章，还是称吴王、做皇帝，都是以李善长为文官首臣。李善长“明习故事，裁决如流，又娴于辞命”，为朱元璋的前线军马筹集粮草、兵饷，源源不断，在后方总理日常事务、制定典章赋税，都是一把好手。故，有人认为李善长之功，既有萧何之能，也有张良之才。
李善长曾斟酌元制、去其弊端后，请求专卖两淮之盐，设立茶法，对加强百废待兴的明初财政，很有实效。他还逐步恢复制钱法，开矿冶铁，制定鱼税，国家财富日益增长，百姓也不再贫困。
朱元璋登基后，开国大典，册封大典，均由李善长为大礼使。朱元璋亲征，李善长留守，“一切听便宜行事”。朱元璋“定天下岳渎神祗封号，封建诸王，爵赏功臣，事无巨细，悉委善长与诸儒臣谋议行之”。
朱元璋成了天下的主子，李善长做了真正的宰相，皇权和相权不断博弈、冲突，朱元璋本想利用刘伯温制衡李善长以及后来胡惟庸，但是未果，甚至突然暴卒，且涉及胡惟庸。
李善长“外宽和，内多忮刻”，日益自专，只要有人稍微冒犯他的权威，就定罪贬黜。掌管御史台的刘伯温依法力争，李善长仍盛气凌人，逼得刘伯温“不自安，请告归”。这些，也是大权力控的朱元璋洞察入微，尚待发酵。
洪武四年，李善长“以疾致仕”。朱元璋甚是慷慨，赐大量的土地、塚户、佃户、仪仗士，擢升李善长弟弟李存义为太仆丞，还把女儿嫁给李善长的儿子，封其为驸马都尉，要公主在李家严守妇道。
李善长辞职，朱元璋先后封汪广洋和李善长举荐的胡惟庸都为右相。汪广洋鉴于朱元璋与李善长的矛盾，事事请示皇帝，上书打压前丞相：“善长狎宠自恣，陛下病不视朝几及旬，不问候。驸马都尉祺六日不朝，宣至殿前，又不引罪，大不敬。”看来离职不离京的李善长，对皇帝也不关心了，恃功而骄，就连皇帝大病十天不上朝这样的大事件也不闻不问，就连其子做了皇家驸马，也是皇帝宣进宫问安也不认错。他们似乎认为朱元璋给与李家最隆重、最高规的恩赏，是在讨好李善长，故不断不收敛，反而更加骄纵。
朱元璋将原元帅府的令史汪广洋擢升为右相，但能力有限，不久被后起之秀胡惟庸与老奸巨猾的李善长联手弄走。汪广洋看似对李、胡敬而远之，但着实能耐不济，不是对手。
李家父子如此对待朱元璋，朱元璋心里自然不舒服，削减了他一千八百石岁禄。汪广洋不争气，没出成绩，朱元璋把他贬到广东行省做参议，而要李善长重新出山，和朱元璋的外甥兼养子、曹国公李文忠总理中书省、大都督、府御史台，同议军国大政。善长虽老，做事仍有作为，帮忙打理御史台，很快见成效。
胡惟庸成了独立丞相。后来朱元璋把汪广洋召回复职，胡惟庸升为第一丞相。胡惟庸是李善长带出来顶上去的，能力不出众，但善于隐瞒，擅长玩动作，让朱元璋很恼火。但这个胡首相和李首相，关系很不一般，两家也是姻亲，李的侄儿是胡的侄女婿，两人经常往来。朱元璋以谋反罪敲掉胡惟庸，有人告发李善长的弟弟、胡惟庸的姻亲李存义父子是胡党。
朱元璋大范围打击胡党人士，但因李善长的关系就免李存义父子死罪，幽禁在崇明岛。李善长也不谢恩，反而找汤和要三百兵士扩建府邸。这本来是小事，汤和胆小，借了但又出首李善长擅借兵士私用，朱元璋没发作，但记住了这一笔账。
不久，京城有一批罪犯被判流放戍边，李善长几次出面请免掉一个叫丁斌的。朱元璋本来对李善长就有了不少猜忌和恼怒，于是抓来丁斌审查，丁斌重提李存义与胡惟庸勾结。朱元璋重新把李存义下狱，李存义咬出李善长和胡惟庸谋反有牵连。
李存义的供词说：“惟庸有反谋，使存义阴说善长。善长惊叱曰：‘尔言何为者！审尔，九族皆灭！’已，又使善长故人杨文裕说之云：‘事成当以淮西地封为王。’善长惊不许，然颇心动。惟庸乃自往说善长，犹不许。居久之，惟庸复遣存义进说，善长叹曰：‘吾老矣。吾死，汝等自为之！’”
此状一呈，看来李善长这个开国元勋、皇亲国戚，对于胡惟庸意欲谋反是一清二楚的，但不报告给亲家皇帝，甚至有利可图封个一字并肩王，说不定李善长也会干。不忠不义，理应当诛。
李存义继续说：“将军蓝玉出塞，至捕鱼儿海，获惟庸通沙漠使者封绩，善长匿不以闻。”火上浇油，加速了祸事的爆发，
李善长压住通敌信不报，暗放外敌使者封绩。有了这一曲，无疑给胡惟庸谋反案及李善长知情不报，罪加一等。胡惟庸不仅结党谋反，还里通外国，这是天理不容、罪不可赦。
不论是真是假，弟弟状告哥哥纵容、隐匿胡惟庸谋反、私通外敌，同时被蓝玉等边关大将直接效忠，危及社稷江山，朱元璋对李善长唯有痛下杀手。
朱元璋立马下旨，“遂并其妻女弟侄家口七十余人诛之”，这怎还才理会你李善长有多大的勋劳、是多亲的国戚、享多高的殊荣。即便你有免死的铁券丹书，也是一块废铁。此案，只有李善长的长子李祺和临安公主，被逐出京城，远徙江浦，没过多久病逝。李祺二子李芳、李茂，朱元璋的亲外孙，因公主之故，得到恩免，没有被杀，后来分别做了留守中卫指挥、旗手卫镇抚，但被取消了袭爵韩国公的权利。
解缙曾代虞部郎中王国用为李善长鸣冤：“李善长与陛下同心，出万死以取天下，勋臣第一，生封公，死封王，男尚公主，亲戚拜官，人臣之分极矣。”
朱元璋要做掉李善长，应该说是由来已久，虽一直隐而不发，甚至经常恩赏重用，但他启用对抗李善长的汪广洋、杨宪，以及他在一段时间内静待李善长举荐的胡惟庸继续专权，未必不是要坐实李善长不可饶恕、不予人口实的罪行。
当然，李善长之死，也是富贵至极而忘乎所以。《明史·李善长传》说：“剖符开国，列爵上公，乃至富极贵溢，于衰暮之年自取覆灭。”
至李善长被处死，朱元璋的四大丞相都已毙命。野史说徐达死于朱元璋恩赏的烧鹅，而汪广洋、胡惟庸和李善长都是死于朱元璋的明令之下，写进了正史，朱元璋也不怕人说。早在洪武十三年胡惟庸被诛杀，朱元璋随即撤除中书省，彻底结束了中国的宰相制度。
而朱元璋的大清洗，并没有因为李善长的死而终结。仅有李案带发的，有吉安侯陆仲亨、延安侯唐胜宗、平凉侯费聚、南雄侯赵庸、荥阳侯郑遇春、宜春侯黄彬、河南侯陆聚等，都同时受胡惟庸牵连而死。此外，被牵连的还有已故的营阳侯杨璟、济宁侯顾时等若干人。
朱元璋屠杀胡惟庸尤其是李善长，以及帮自己打天下的悍将们，也是为了后继之君坐稳朱明江山考虑。他的太子朱标是一个儒家理想主义者，即便继位也掌控不了淮西集团那帮元勋大佬、骄兵悍将。
他口称要留骂名自己担着，但也担心天下骂他大肆屠杀功臣，故亲自下诏罗列他们的罪状，加在狱辞里面，纂成《昭示奸党三录》，印发多册，布告天下。