刘知俊，字希贤，徐州沛县人。身材高大相貌英俊，潇洒无拘胸有大志。开始时事奉徐州统帅时溥，担任列校，时溥很器重他，后来因为勇敢和才略而被嫉妒。唐朝大顺二年(891)冬天，率领部下两千人投降梁太祖，即暂任军校。刘知俊披上铠甲跨上战马，抡起刀剑杀敌陷阵，勇敢胆略比其他将领都强。太祖命令左义胜军和右义胜军都归隶刘知俊指挥，不久又任用他为左开道指挥使，所以当时人都叫他“刘开道”。跟随太祖讨伐秦宗权以及进攻徐州都立有战功，接着补任徐州马步军都指挥使。刘知俊进攻海州并夺取了它，太祖奏请皇上授刘知俊为海州刺史。天复初年，历任怀州、郑州主管，跟从太祖平定青州，因为战功奏请皇上授以同州节度使。天..三年冬天，率领五千士兵在美原击败岐下六万士兵。从此接连攻克..、延等五州，于是加封为检校太傅、平章事。开平二年(908)春三月，任命为潞州行营招讨使。刘知俊还没有到达潞州时，两边的营寨已经陷落，晋人领着军队正在进攻泽州，听说刘知俊来了，才撤退。不久就改任西路招讨使。六月，在幕谷大破岐下军队，被俘和被杀的敌军数以千计，李茂贞仅仅只身一人逃脱。三年五月，加封为检校太尉，兼任侍中，被封为大彭郡王。
这时刘知俊的威望日益高涨，太祖的猜疑之心也日益强烈，恰遇上佑国军节度使王重师无罪而被太祖诛杀，刘知俊坐卧不安，于是凭据同州反叛太祖，并对李茂贞表达诚意。刘知俊又分兵进攻雍州、华州，雍州节度使刘捍被擒获，送到凤翔李茂贞处被杀害了，华州蔡敬思受伤而得免于一死。太祖听到刘知俊反叛，派遣身边的亲信告诉他说：“我对待你非常优厚，为什么要背叛我呢？”刘知俊回话说：“我并不是背叛你对我的恩德，我只是怕死罢了！王重师没有对不起陛下的地方，然而招致了灭族的灾祸。”太祖又派遣使者对刘知俊说“：我没有料到你会这样做。以前王重师获罪被诛，是因为刘捍说他私下勾结..州、凤州，终将不被国家所用。我现在虽然已经知道是冤枉滥杀，但是后悔已经来不及了，致使你变成这样，我内心非常遗憾悔恨，是因为刘捍误了我的大事呀，刘捍一死仍然不能解脱他的罪责。”刘知俊不做回答，而是分兵据守潼关。太祖命令刘寻阝领兵进攻讨伐，攻击潼关，占领了它。当时刘知俊的弟弟刘知浣是太祖亲卫指挥使，听到刘知俊反叛，从洛一陽一奔到潼关，被刘寻阝抓获，杀死了他。不久皇室大军接着开来，刘知俊于是带着全家逃奔到凤翔府，李茂贞优厚地接待他，任为伪检校太尉、兼任中书令，因为李茂贞盘踞的疆土不广，没有藩镇可用来安置他，因此只是供给他优厚的俸禄而已。接着命令他领兵攻击围困灵武，想得到牧圉一带地方。灵武节度使韩逊派使者来向太祖告急，太祖命令康怀英带领军队救援他，部队驻扎在..州长城岭，被刘知俊半路拦截袭击，康怀英被打败逃回。李茂贞大喜，命刘知俊暂任泾州节度使。又命令他带领部队攻打兴元府，进军围住蜀国西县，恰逢蜀军援兵来到，刘知俊才撤退。
不久刘知俊被李茂贞身边的人如石简..等人挑一拨离间，李茂贞罢免了他的军政大权。刘知俊寓居于岐下，闭门不出有好几年。李茂贞的侄子李继崇镇守秦州，趁来问候拜见李茂贞的机会，诉说刘知俊的困顿，说不该因谗言嫉妒而被怀疑，李茂贞于是诛杀石简..等人来抚一慰刘知俊的心。李继崇又请求让刘知俊携带家眷住到秦州，以接受丰厚的俸给，李茂贞答应了他。不久，..州动乱，李茂贞命令刘知俊讨伐..州。这时..州都校李保衡效忠于朝廷，梁末帝派遣霍彦威率领部队先进入..城，刘知俊于是围住..城，半年都不能攻下。逢上李继崇将秦州投降了蜀国，刘知俊的妻子儿女都被带去了成都，于是刘知俊解除..州的围兵回到岐一陽一。因为自己的一家人都去了蜀地，到底担心被猜疑顾忌，因而与亲信一百多人夜晚杀出城门投奔蜀国。
蜀主王建对待刘知俊非常优厚周到，马上授予他伪武信军节度使。接着命令他领兵攻伐岐下，不能攻下，回师，顺便包围了陇州，俘虏了陇州统帅桑弘志归来。很久以后，又任命他为都统，再次领兵攻伐岐下。这时部下将领都是王建旧日手下人，多次违抗刘知俊的调度指挥，所以没有成功就回来了，蜀国人因此诋毁他。在这以前，王建虽然一宠一爱一厚待他，但也有所疑忌，曾经对身旁侍臣说“：我渐渐衰弱羸老了，经常考虑身后的事情。刘知俊不是你们这班人能驾驭得了的，不如早点给他一个处置。”又有嫉妒他声誉的人在街头巷尾传播谣言说“：黑牛出圈棕绳断。”刘知俊颜色黑而且生在属牛的丑年，所谓棕绳，王建的子孙都以“宗”、“承”作为名字，所以把这些牵合在一起而构成谣言。伪蜀国天汉元年(917)冬天十二月，王建派人逮捕了刘知俊，杀死在成都府的炭市。