北宋王朝逐渐统一中国并平定边境，离不开一批战功赫赫的名将。而在这些名将中，曹彬被后人认为是“宋良将第一”，堪称帅才。跟他的同僚潘美、王全斌、曹翰等人一比，便不难看出，像曹彬这样的名将，确实是罕之又罕：他虽为大将，却力主“不战而屈人之兵”，反对血腥屠杀;他身居高位，且参与讨伐平定后蜀、南唐两国，又曾出使吴越，却“秋毫无所取”，没有贪污过一文钱。
宋太祖赵匡胤和弟弟晋王赵光义(即后来的宋太宗)等人在讨论平定南唐的主将人选时，曹彬和潘美是他们的两个主要选择。赵匡胤提出要吸取王全斌平蜀时杀人太多的教训，赵普于是推荐曹彬为主将。他们一致认为，比起勇猛善战的潘美等人，曹彬更具有大将之风，适合统帅平定江南的大军。
次日，宋太祖把曹彬、潘美找来商量征江南之事。曹彬加以推辞，说自己才力不迨，请求别选大将能臣。潘美就没这么客气了，他仗着宋太祖对自己比较宠信，迫不及待地声称如果以他为主将，很快就能拿下南唐。主意已定的宋太祖却没理他，转头对曹彬说：“所谓大将，首先就要敢于杀违规犯分的副将，做到这一点，其他事情就不难了。我任命你为大将，就是这个用意！”潘美听得汗如雨下，不敢仰视。曹彬这才肯接过帅印。
出征之前，宋太祖又夜召曹彬入禁中，亲自给他酌酒饯行。曹彬深知这一次出征责任重大，但他又不愿多所杀伐，带着如此心事，不知不觉间居然喝醉。宫女拿水浇在他脸上，把他唤醒，宋太祖则一边给他拍背，一边安慰他说：“肯定能顺利攻取江南，你就按自己的意思行事吧。”
以曹彬的宽厚稳重，配合潘美的明锐善战，征伐江南的战事果然进行得颇为顺利，而且杀人伤人很少。战争进行到最后，眼看南唐都城金陵(今南京)唾手可得，潘美等宋将不禁摩拳擦掌，准备大战一场。曹彬却命令宋军暂缓进攻，希望南唐后主李煜主动归降，这样就可以兵不血刃。他派人送信给李煜说：“事势如此，所惜者一城生聚，若能归命，策之上也。”
而且在这个节骨眼儿上，曹彬忽然自称“病”得不能处理军务了。诸将都赶来问候，曹彬语重心长地对他们说：“我的病其实是心病，这病绝非药石所能治愈。如果你们希望我病好的话，就诚心立誓，破城之日，不妄杀一人。”诸将面面相觑，都觉得曹彬这治“病”之方未免新奇。但既然主将提出要求，他们也不能不答应，于是一起焚香为誓。第二天，曹彬的“病”就好了很多。再过一天，他就率军攻破了金陵城。
金陵陷落，李煜与其臣子百余人到曹彬军营中来请罪，曹彬好语安慰，并待之以宾礼，请李煜回宫整理行装。曹彬自己只带数骑在宫门外等候。左右悄悄对曹彬说：“李煜进宫去，如果想不开自杀了，那怎么办？”曹彬笑笑，说：“以李煜软弱寡断的个性，既已出降，哪里还能有这种想法。”不一会儿李煜果然又乖乖出来了。有曹彬主持大局，南唐君臣才得以保全。
这次出征江南，从出师至凯旋，宋军始终纪律严明，无人敢轻举妄动。平定江南是大功，但曹彬回到京城，给宋太祖上的报告里只谦虚地说自己是“奉敕江南干事回”，意思是说，自己不过是奉命到江南办理完一件公事罢了。
而潘美自从争当主帅被宋太祖敲打之后，也收敛了许多，与曹彬合作得很好。金陵既平，潘美以功拜宣徽北院使。