曾国藩愤走衡州之后，因为少了许多不必要的应酬与牵制，烦恼也少了许多，在那里一心一意地训练他的湘军。
当年的衡州城，是湖南衡州府的知府衙门所在地，实际的名字是衡阳，即今天的衡阳市，位于南岳衡山南麓，是湖南仅次于长沙的名城。
湖南自古有三湘之称。关于三湘，历来众说纷纭。有一种说法是：潇湘、蒸湘、沅湘合为三湘。衡州城是蒸水与湘水的汇合处，为两广门户，扼水陆之要冲，物产富庶，民风强悍，是兵家历来必争之地。曾国藩对衡州也特别亲切，因为他一来祖籍衡州，二来欧阳夫人是衡州人，三则他少年时代曾在衡州求学多年。
到了衡州，曾国藩好像回到了湘乡，有一种鱼游大海、虎归深山的感觉。
在衡州城小西门外的蒸水滨，有一片宽阔的荒地，当地百姓称它为演武坪。这是当年吴三桂在衡州称帝时，为演练兵勇开辟的，后来便成为历代驻军的操练场，这里比长沙南门外练兵场要大得多。曾国藩把他带来的一千多号团丁，安扎在演武坪旁边的桑园街，指挥所设在桑园街上一栋赵姓祠堂里。为可便于日常商讨，他命令罗泽南、王?、李续宾、李续宜、康福、江忠济及弟弟曾国葆等都住在祠堂里。
初到衡州，曾国藩接受了在长沙的教训，即一定要和地方官搞好关系。衡州知府陆传应在曾国藩到来之前已经收到消息，照例开城相迎。知府官位仅是从四品，比曾国藩整整低了五级，但曾国藩并不以高压下，照样以“兄”相称，给陆知府留下了很好的印象。
曾国藩在衡州处处小心谨慎。就说他的“署衙”吧，到底取个什么名字？朝廷并没有定什么规矩，只说办团练，但团练大臣数十个，各自的品级并不一致，各地方也没有“团练大臣”的衙门。他与王?等人商量后，写了个名称：“钦命团练大臣曾统辖湖南湘军总营务局”。牌子写好之后，曾国藩感到不妥：
皇帝诏书写的是“帮办团练大臣”，帮而办之，“帮办”二字，定下了主从关系，湖南主要办团练的角色还得是骆秉章；而且团练不是军队，统辖湖南湘军就更不妥了，皇帝没给他这么个衔，也没有统辖军队的权力。为了不授人以柄，最后决定还是照旧用长沙时用过的“湖南审案局”五个字。
招牌没有改变，但曾国藩的主意与在长沙时可大不一样了。他不再蛮干，不再仅仅做维持地方治安的刽子手，而是下决心要练成一支劲旅，自做统帅，做像李泌、郭子仪一样的男子汉事业。58xs8.com