自从曾国藩带兵之日起，他决心训练一支全新的能战部队。这种欲望的迫切产生在于他对绿营弊端的深切感受和极度痛恨。他认为绿营的不可救药已经到了积重难返的地步：“恐岳王复生，半年就能教会他武功；孔子复生，三年不能改变他的坏习惯。”①因此，他认为：“现在的兵，不能练之为劲卒，新募之勇，却能练之为补额兵。”②
绿营的弊端确实是一种制度化的弊端，创旧鼎新也不容易吗？此外，编练新勇取代国家经制兵的八旗绿营(即使在实际上而不是名义上)与皇帝的原意相去甚远。清朝统治者的初衷是将团练作为应急药物服用。虽然他们也知道旗帜和绿色部队是无用的，但毕竟，八旗非常亲密，不用担心控制；八旗绿营制度历史悠久，改革祖先制度阻力大，不是短期工作，习惯了“急于抱佛脚，雨忘记雷声”清政府，在灭绝川楚白莲起义战争中看到团队力量，确定“佛脚”，希望它能在国家招募，天下太平时又能挥之不去；不用担心经济负担，不用担心军事失控，真是一举多得！难道你不知道，面对组织严密、战斗力强、基地牢固、进退自由的太平天国起义军，传统意义上的团练只依靠“保甲连接”、旧的“坚壁清野”方法，已经难以发挥作用。难道你不知道，面对组织严密、战斗力强、基地牢固、进退自由的太平天国起义军，传统意义上的团练只依靠“保甲连接”、“坚壁清野”的老办法已经难以发挥作用。由于八旗和绿营的改造暂时难以实现，在传统团练的基础上，训练一支介于两者之间的勇营队伍，消除旗绿的弊端，成为能战的锐旅，是明智之举。在这一历史时刻，曾国藩敏锐地抓住了问题的关键。
咸丰二三年间，曾国藩是唯一一位曾国藩成功的官员。曾国藩不是实施皇帝命令最严格的人。在实践中，他逐渐偏离了朝廷的初衷，离开了团练，建立了一支经制兵以外的准正规军；曾国藩不是最幸运的。他成功地带出了一支清政府不得不依靠的湘军强队。湘军成功，从不显眼的地方团练，成为当时中国战斗力最强、清廷疑惑最强、不得不依靠的部队。这种成功的交响乐，由“三部曲”乐章组成：另起炉灶，促进大团；避开衡阳，练成强队；独立一面，席卷两湖。
另一个炉灶，促练大团。曾国藩奉命进驻省城有两个任务：一是“团练村民”，二是“搜土匪”。与训练有关的是“团练村民”，这种团练原本只是以各府县团练为基础，以保甲、维护治安为主要任务，离一支能够独立作战的部队的要求相去甚远。在受命之初，曾国藩决定再起炉灶，按照自己的想法带出一支全新的部队。在他第一次到达长沙后的一个奏折中，他区分了“团”和“练习”:“团练这个词要分开看，团就是保甲的方法，查户口，不允许留容土匪，一言以尽。练习制备选丁，请老师造旗，费用更高。”并提出自己的建议:“在省会成立一大群，认真练习，招募各县训练有素的村民来省里。参仿前明戚继光，近人傅奈成法，但求其精，不贵其多；但求有济，不求速效。”①按照惯例，团练应该在各地就近训练和执行任务。省会的防卫和重大军事行动仍然依赖于绿营。曾国藩建议在省会成立一个大团。事实上，它是在省防绿营之外的另一个炉子上建立一支新军队，这显然与朝廷的初衷背道而驰。但大清统治者似乎没有注意到两者的区别，批示道：“知道。认真处理，以资防压。”②因此，罗泽南、王等地的团队陆续来到长沙，在曾国藩的指导下，开始了正规的训练，并不断派军队到各地攻打和压制党和农民起义。1853年春夏，江中源部楚军与湘军一起，先后在常宁、阳山、衡山、永兴、茶陵等地参加起义军作战。到1853年7月下旬，曾国藩编练的湘军有罗泽南的中营、王洪的左营、邹寿璋的右营、塔齐布的陈营、周凤山、朱梅力、曾贞干等。兵员总数从1000多人扩大到4000人左右。
避开衡阳，练强队。古今中外的一个共同规律是，愿意做事的人总是要惹很多麻烦，要想做事，就必须善于处理各种麻烦。曾国藩放弃守制，出山办事，正是自满志大展手脚的时候，颇有“君王天下事，哪管闲人论短长”的味道。一方面，他在省会长沙经营“大团”、训练新军，一方面设立“审案局”、查“土匪”。事实上，他作为团练大臣的职责是非常模糊的，可伸缩，可大可小，“圣甲”没有明确细化，全靠自己的把握。问题是，湖南省既有巡抚、布政使、按察使等管理行政刑事责任，又有提督负责军事责任；曾国藩设局审案杀人，难免与当地官员发生冲突；他还组织了绿营和湘勇一起训练。他在3月8日举行了一次会议。炎热的夏天，绿营的“老兵”自然难以忍受。提督鲍起豹抱怨他越职侵权。偏偏曾国藩用强梁作风，以为自己一心一意做事。他弹劾了那些因为守旧、无所作为而阻止改革的贪官和官员。他越过湖南巡抚罗秉章，弹劾了副将军清德，使他受到革命的质疑，并向湖南军队的绿营和旗手塔齐布赞不绝口。上述矛盾日益积累，最终导致绿营与湘军的正面冲突，直到绿营兵包围曾公馆闹事，难以结束。在这种情况下，曾国藩终于下定决心以“就近剿匪”的名义离开长沙，移到衡州进行专项训练。至于为什么没有向皇帝投诉，他自己粉饰说:“作为一个臣子，我们不能为国家消除混乱，而是在琐事上失去父亲的倾听，我们感到不安。“实际情况是，长沙是矛盾的地方。曾国藩与地方军政大员的关系不可持续。要继续训练，矛盾不会减少。与其在矛盾中心挣扎，不如退居边缘，专心训练，取得成效。此外，巡抚、提督和其他人不同于一个地区的副将军。即使曾国藩告诉皇帝，朝廷是否会惩罚当地大员，因为一些无关紧要的问题，谁对谁错，以及一个在籍的前二品侍郎？显然未必。事实证明，曾国藩避开衡州下棋是对的。在衡州，他打着为江忠源增兵源的旗号，扩招勇丁，统一编制，勤训练，大力筹建湘军水师。六个月后，湘军北上作战时，水师已有360多艘大大小小的战舰，水陆官兵、丁夫等共有1.7万多人，军容严谨，使长沙诸公耳目一新。
独当一面，席卷两湖。曾国藩不仅善于避免矛盾，专心工作，而且善于透彻全局，把握关键。他敏锐地观察到，绿营士兵是不可用的，必须在绿营外练习一支新军；要消灭太平军，必须浮江东下，必须面对太平军的水营。因此，必须建立强大的湘军水师与之对抗；主张湘、鄂、皖、赣联防，先后推江忠源、吴主持大局。当太平军西征取得辉煌成就时，江忠源和吴文镕相继战死。长江中游的绿营主力已经被打败或分散。放眼两湖，能战的“生力军”是谁？水师是非湘军莫属。1854年2月25日，在长沙受够鸟气的曾国藩，终于在皇帝的催促下，在长沙军民对甘林、长城的渴望中带领军队北上。经过近一年的胜负之战，湘军席卷两湖，进入皖赣，收复了武昌等大城市和田家镇等重要场所，给屡屡战败的清政府打上了强心针。此时，湘军也已羽翼丰满，成为与南京城外江南大营、江北大营并列的主力军。