曾国藩不是军人，也从来没有摸过武器。但是他毕竟从道光二十九年起，兼任过数年的“兵部左侍郎”(约等于今天的国防部副部长)，加以他以经世致用为志，对大清国家武装情况有较一般人远为深入而全面的了解。
他深知，依靠目前这支大清军队，打败太平军是不可能的。因为晚清国家军队是一支没有灵魂的、没有“天良”、没有精神力量的军队。曾国藩说过：“国藩历年来痛恨军营习气，武弁自守备以上无不丧尽天良！”
要挽救这个国家，只有一个办法，那就是“赤地立新”，自己动手，练出一支崭新的有战斗力的队伍。所以，在接奉圣旨后的第十天，曾国藩就复奏，要在长沙创建一支新的军队。
曾国藩练兵，首重给军队注入“良心”和“灵魂”。他在中国军事史上首先发明了“政治教育”。创立湘军之后，每逢三日、八日，他要把军队召集到操场上，进行政治动员。他亲自训话，用“杀身成仁，舍生取义”的孔孟之道和“不要钱，不怕死”的岳飞精神激励将士，教育他们忠君爱国，不得扰民。
这当然是好事。但问题是曾国藩又一次把手伸向了自己的权力范围之外。和各地国家军队一样，驻长沙的绿营军，军纪废弛、四处扰民，令全长沙头疼。曾国藩命令驻省的正规军队每三八两日，与湘军一起“会操”。曾国藩自己说：“传唤(绿)营兵，一同操演，亦不过会弁委前来听我教语”，开启他们的天良。他为了唤醒这些兵痞的良心，也确实苦口婆心：“每逢三、八操演集诸勇而教之，反复开说至千百语，但令其无扰百姓。”“每次与诸弁兵讲说，至一时数刻之久。虽不敢云说法点顽石之头，亦诚欲以苦口滴杜鹃之血。”其目的“盖欲感动一二，冀其不扰百姓，以雪兵勇不如贼匪之耻，而稍变武弁漫无纪律之态”。
这一利国利军之举，却差点让曾国藩送了命。
大清政治惯例是文官不管军队的日常事务。即使是巡抚这样的实权大官，也不会具体过问军队的日常操练。文官们虽然痛恨曾国藩，但也只能形于辞色，性情粗野的军人们却没有这么好脾气，他们立刻付诸行动。
带头闹事的，是长沙副将清德。他在太平军进攻湖南时曾临阵脱逃，此时面对曾国藩却很勇敢。他不仅带头抵制会操，“操演之期，该将从不一至”，而且摇唇鼓舌，四处鼓动各军不要受曾国藩的摆弄。
行事至刚的曾国藩立刻给皇帝上了个折子，弹劾清德，并猛烈抨击湖南驻军“将士畏葸，疲玩已成痼习，劝之不听，威之不惧，竟无可以激励之术”。尚方宝剑很快显示了威力。咸丰皇帝立刻将清德革职拿办。这是曾国藩出山之后，与湖南官场发生的第一次正式冲突。
表面上看曾国藩在这次冲突中取得大胜，实际上失败的隐患已根植在这场“大胜”之中。
晚清官场最重要的潜规则是“官官相护”。常在河边走，谁能不湿鞋？只有彼此掩盖，才能最大限度保证大家的集体安全。动辄咬人，足以令人人自危。湖南官员从此对曾国藩更加恨之入骨。清德的上司、湖南提督，也就是驻湖南最高军事长官鲍起豹更伺机报复，而机会也很快就来了。
绿营军看着曾国藩招来的这些湘勇土包子怎么看怎么不顺眼，经常借故与湘勇发生械斗。八月初四，鲍起豹的卫队又寻衅攻打湘勇，双方各有负伤。
军队没有纪律，何以平贼，何以安民？曾国藩向鲍起豹发去文书，要求他逮捕带头闹事的绿营兵，以杜私斗之风。
鲍起豹决意要借这个机会好好教训教训曾国藩。他故意将几名肇事士兵五花大绑捆起来，大张旗鼓地押送到曾国藩的公馆，同时派人散布曾国藩要严惩这几个绿营兵的消息，鼓动军人闹事。绿营一传二、二传三，越聚越多，群情激愤，纷纷上街，游行示威，要求曾国藩释放绿营兵。长沙城中一时大乱。
张亮基调走之后，湖南通省官员都和曾国藩气味不投。出了这个事，满城官员都关起大门，袖手旁观，心中暗喜。“营兵既日夜游聚城中，文武官闭门不肯谁何。”等着要看曾国藩的笑话。绿营兵见状，胆子更大，居然开始公然围攻曾国藩的公馆。
曾国藩的公馆就临时设在巡抚衙门的射圃里，与巡抚骆秉章的办公室仅一墙之隔。曾国藩以为绿营兵胆子再大，也绝不敢武装攻击他这个二品大员。所以被绿营兵包围后，他还若无其事地处理公文。不料绿营兵竟然破门而入，连伤了他的几个随从。连曾国藩自己都差点挨刀。曾国藩夺门而逃，几步窜到隔壁巡抚办公室门前，连连急叩。
绿营在门外闹事，巡抚骆秉章听得一清二楚，但是却装聋作哑，暗暗发笑。他早应该出来调停，却一直假做不知。直到曾国藩来叩门，他才故作惊讶，出来调停。绿营兵一见巡抚驾到，马上规矩下来。
骆秉章的调处办法是命人把鲍起豹捆送来的那几个绿营兵带过来，他亲自上前松绑，还连连向他们道歉，说让兄弟们受委屈了！
绿营兵面子挣足，兴高采烈拥着这几人而去。
只剩下骆曾二人了，骆秉章一句安慰的话也没对曾国藩说，只淡淡地说了一句：“将来打仗，还要靠他们啊！”就转身走了。
曾国藩气得哑口无言。
湖南官员们眼见前一段飞扬跋扈的二品大员这次被狠狠地修理，个个眉开眼笑，把这事当成笑话，四处飞传。一时间，满城都是对曾国藩的讥笑之声。“司道群官皆窃喜，以谓可惩多事矣。”
这是曾国藩出生以来，第一次遭遇真正的挫折。进秀才的艰难，画稿遭人嘲笑的尴尬，比起这次挫辱来，完全不在同一个档次。堂堂副部级官员，差点让闹事的兵痞杀了，还没处讲理。这种难堪在整个大清朝的历史上，也不多见。我们可以想象曾国藩是如何心血上冲，夜不成寐。
曾国藩的第一反应当然是向皇上控告。干脆，借这个机会把到省办事以来所受所有排挤委屈都痛快淋漓地向皇帝陈诉一番！
然而细一想，他就知道这种做法行不通。这一道奏折上去，顶多打倒一个鲍起豹，能把湖南全省官员都搬倒吗？如果搬不倒全省官员，那么以后他在湖南的处境，岂不是更要寸步难行？
经过几夜不眠的反思，曾国藩做出了一个出人意料的决定：“好汉打脱牙和血吞”。他不再和长沙官场纠缠争辩，而是卷起铺盖，带着自己募来的湘军，前往僻静的衡阳。全省官员瞧不起我，我不争一日之短长。等到我在衡阳练成一支劲旅，打几个胜仗给你们看看，那时自会分出高下。这才是挽回面子的最好办法！