早期事迹
林仁肇生性刚强坚毅，武艺高强，而且身材魁梧，身上刺有虎形纹身。原是闽国裨将，与陈铁齐名，人称林虎子。闽国灭亡后，归家闲居。
大战周军
956年(显德三年)，南唐中主李璟因后周军攻打淮南，命鸿胪卿潘承祐到泉州、建州召募勇士。潘承佑推荐了前永安节度使许文稹、静江指挥使陈德诚以及郑彦华、林仁肇等人。中主任命林仁肇为将军，让他率偏师救援寿州。林仁肇攻城南大寨，又破濠州水栅，被擢升为淮南屯营应援使.
八月，周军正阳浮桥建成，扼住南唐援军的进路。林仁肇亲自率领一千敢死士，用船载着薪柴牧草，乘风放火，欲焚毁浮桥。不料，风向转变，不利火攻，周军大将张永德趁机进战，唐军大败.
这时，林仁肇单马殿后，并将张永德射来的箭矢全部挡开。张永德大惊道：“敌军有能人啊，不可轻敌。”便不再追击。后来，南唐向后周割地求和，林仁肇被任命为镇海军节度使，不久又改镇武昌.
忠言被拒
960年(建隆元年)，后周大将赵匡胤建立宋朝，是为宋太祖，并平定淮南节度使李重进的叛乱。此后，淮南各州兵力薄弱。
970年(开宝三年)，林仁肇私下向南唐后主进言道：“淮南兵力很弱，宋国又连年用兵，先后平定西蜀、荆湖、岭南，千里奔波，士卒劳累，这正是可乘之机。陛下只要给臣数万兵马，臣就能夺取淮南。陛下可以对外宣称臣起兵反叛，那么臣若成功，淮南归国家所有，臣若兵败，陛下便灭我满门，以此表示陛下并不知情。”
后主听后，惊道：“你千万不要胡说，这会连累到国家的。”不久，林仁肇便被任命为南都(今江西南昌)留守、南昌尹
含冤遇害
林仁肇出身行伍，后虽担任将帅，仍能与士卒同甘共苦，因此深得军心。但是，皇甫继勋、朱令赟等人与林仁肇关系不和，便在唐后主面前进谗言，称他向宋朝求援，要在江西自立。宋太祖也对林仁肇非常忌惮，便贿赂他的随从，得到他的画像，悬挂在别室中。
972年(开宝五年)，郑王李从善到汴京朝贡。宋太祖带李从善观看林仁肇的画像，道：“林仁肇将前来投降，先用这幅画像为信物。”又指着空着的馆宇道：“这是我准备赐给林仁肇的。”李从善命人回报后主。后主不知这是反间计，便暗中命人将林仁肇鸩杀。