绿营军看着曾国藩招来的这些湘勇土包子怎么看怎么不顺眼，经常借故与湘勇发生械斗。八月初四，鲍起豹的卫队又寻衅攻打湘勇，双方各有负伤。

    鉴于湘军是唯一有战斗力的部队，咸丰皇帝命曾国藩出省作战，支援困境中的江西。

    似驴非驴马非马，自憎形影良可。

    张亮基调走之后，湖南通省官员都和曾国藩气味不投。出了这个事，满城官员都关起大门，袖手旁观，心中暗喜。“营兵既日夜游聚城中，文武官闭门不肯谁何。”等着要看曾国藩的笑话。绿营兵见状，胆子更大，居然开始公然围攻曾国藩的公馆。

    曾国藩的公馆就临时设在巡抚衙门的射圃里，与巡抚骆秉章的办公室仅一墙之隔。曾国藩以为绿营兵胆子再大，也绝不敢武装攻击他这个二品大员。所以被绿营兵包围后，他还若无其事地处理公文。不料绿营兵竟然破门而入，连伤了他的几个随从。连曾国藩自己都差点挨刀。曾国藩夺门而逃，几步窜到隔壁巡抚办公室门前，连连急叩。

    另一个“大名大位”者是赛尚阿。咸丰二年初，赛尚阿等因为在镇压太平天国起义军过程中调度不力，日久无功而“交部议处”。朝中众人多力图为之宽减，只有曾国藩“以军务关系重大，议处罪名宜从重者，不当比照成例”。

    刚到衡阳，曾国藩面临着五无：

    他说，带兵打仗，必须依靠地方官员的支持。“至于筹饷之事，如地丁、漕折、劝捐、抽厘，何一不经由州县之手？”但地方官员只认他们权力体系内的运转规则，只听能掌握他们升迁权力者的话。他名义上为部长级官员，而“文武僚属，大率视臣为客，视本管上司为主。宾主既已歧视，呼应断难灵通”。他“身非地方大吏，州县未必奉行，百姓亦终难可信”，所以“或臣抽厘之处，而州县故为阻挠；或臣营已捐之户，而州县另行逼勒。欲听之，则深虑事势之窒碍；欲惩之，则恐与大吏相龃龉”。

    只剩下骆曾二人了，骆秉章一句安慰的话也没对曾国藩说，只淡淡地说了一句：“将来打仗，还要靠他们啊！”就转身走了。

    被酷热击中的荷叶，夜半仍然如同处于火炉之中。彻夜不眠的曾国藩时而在床上辗转反侧，时而在室内外踱来踱去。几年来的种种经历不断缠绕在他心头，在给曾国荃的信中他说自己在家中“回思往事，处处感怀”，“心中纠缠，时忆往事，愧悔憧扰，不能摆脱”，“近日天气炎热，余心绪尤劣，愧悔交集，每中夜起立，有怀吾弟而不能见”。

    这就惹恼了通省文官。案子就是钱，不是现钱也是天大的人情，你把抓捕、审判、监禁、处决权统统收归自己所有，别人还有什么活路？

    第一次是“壬辰年发佾生，学台悬牌，责其文理之浅”。

    这是曾国藩出生以来，第一次遭遇真正的挫折。进秀才的艰难，画稿遭人嘲笑的尴尬，比起这次挫辱来，完全不在同一个档次。堂堂副部级官员，差点让闹事的兵痞杀了，还没处讲理。这种难堪在整个大清朝的历史上，也不多见。我们可以想象曾国藩是如何心血上冲，夜不成寐。

    二是“徒尚文饰，不求实际”。鼓励大家进言，大家提了不少意见，其中怎么也会有几条有见解的吧？结果却都是批了“无庸议”三字而已，没有一项落实。“间有特被奖许者，手诏以褒倭仁，未几而疏之万里之外。优旨以答苏廷魁，未几而斥为乱道之流，是鲜察言之实意，徒饰纳谏之虚文……”偶尔有几个被肯定的，也没有好结果。刚刚亲书手谕表彰倭仁，不久就驱之于万里之外。刚刚发布肯定苏廷魁的圣旨，不久又批评他是离经叛道。看来您所谓求言，并无诚意，只不过是想获得肯于纳谏之虚名而已。

    咸丰三年八月，曾国藩带着受伤的自尊心到达衡阳，开始赤手空拳创立湘军。