洪武二年（1369年），朱元璋下诏建立功臣庙，并亲自确定功臣的位次，以徐达为第一，下面依次是常遇春、李文忠、邓愈、汤和、沐英、胡大海、冯国用等人。徐达能够成为明王朝的开国第一功臣，不只是因为他是朱元璋的老乡、少年时代的好伙伴，更重要的是他为朱元璋建立明朝立下了赫赫战功。
在明王朝的建立过程中，徐达开辟江汉流域，扫清淮楚之地，攻取浙西，席卷中原，声势威名直达塞外，先后降服王公、俘获将领不计其数，但他从不居功自傲，在皇帝面前尤其恭敬谨慎。朱元璋经常召见徐达，设宴欢饮，每每以“布衣兄弟”相称，而徐达总是谦虚谨慎，小心应对，不越君臣之尊卑秩序。
按照朝廷的礼仪制度，徐达官至丞相，外出时备有相当规模的威赫仪卫。但他时常乘着普通的车马出门，回到家中也过着俭朴的生活，从不奢侈浪费，或者歌舞宴请以夸耀自己显达高贵。朱元璋曾对徐达说：“大将军征战几十年，劳苦功高，从未安宁地休息过。我把过去住过的旧宅院赐给你，你可以安享天伦之乐。”朱元璋所说的旧宅院，就是他称吴王时的王府。徐达坚决推辞，不肯接受。有一天，朱元璋带徐达来到旧吴王府，设计将徐达灌醉，然后把他抬到床上，蒙上被子，想用这种办法强迫他接受赏赐。徐达酒醒之后，惊慌失措，急忙下床伏地向朱元璋请罪。朱元璋见徐达如此谦恭，心中非常高兴，便不再硬逼他接受旧王府。
徐达除了谦虚谨慎，战功卓著外，尤为重要的一点是忠诚正直，爱憎分明，不结党营私。朱元璋曾在朝堂上当着群臣的面称赞徐达说：“受命率军出征，取得胜利凯旋归来，一贯不骄不傲，女色无所爱，财宝无所取，公正无私，像日月行天一样光明磊落，大将军就是这样的人啊！”
徐达在朝中功高位显，深得皇帝信任，自然有人想高攀他，企图利用他的声望谋取私利。丞相胡惟庸曾想与徐达拉拢关系，结为友好，但徐达看不起胡惟庸的品行作为，没有理会。
当胡惟庸希望与徐达结交而遭冷遇后，便企图收买徐达的看门人福寿，想让福寿捏造罪名陷害徐达。但福寿忠于其主，不吃那一套，胡惟庸也没有办法。
长期的戎马生涯，使徐达的身体逐渐支撑不住，终于积劳成疾，一病不起。1384年闰10月，徐达在北平病重，朱元璋遣使把徐达召回应天，第二年2月20日病逝于应天府，时年54岁。
徐达死后，朱元璋追封他为中山王，谥武宁。赐葬钟山，配享太庙，名列功臣第一。