从长沙撤离之前，曾国藩派罗泽南先到衡阳一步，让他与衡阳知县陆传应取得联系。罗泽南与陆传应早年有过交往，所以，他一到衡阳便受到了热情的招待。罗泽南说明来意后，陆传应一点也没有犹豫，爽快地答应了老朋友的要求。他对罗泽南说：
“曾大人是我们湖南人，他的岳父是衡阳知名儒士，所以他也算半个衡阳人吧！小弟早就听说过‘曾国藩’这个名字，并知道他是唐大人（唐鉴）的得意门生。此人学识渊博、涵养很深，只是无缘高攀。如今曾大人愿意落脚敝地，小弟感到无尚的光荣。”
有他这态度，曾国藩还担心什么呢！
下一步便是向湖南巡抚骆秉章提出最后一点点小的要求了。目前，曾国藩手中有两、三千兵勇，兵勇数目不算太少。但是，谁来带兵？
罗泽南乃一儒生，他的学生王可算勇夫，但带兵打仗尚缺乏经验；郭嵩焘与刘蓉到各县筹集军饷了，再者，他们也是儒生；四弟曾国葆年轻气盛，有勇少谋。
有一个人，他智勇双全、性格刚毅、正直豪爽，是理想的将帅人选。
他就是骆秉章的属下——塔齐布。塔齐布虽是满人，但他谙熟内地的人情世故，又没有绿营军大多数将帅身上的那种骄纵蛮横之劣性。他带兵五年，口碑不错，若是把塔齐布带到衡阳，他能够有效地训练湘勇，对新型军队的建立会有很大的帮助。
可是，骆秉章也是爱才之人，他肯给吗？
当曾国藩昂首阔步进入巡抚衙门时，骆秉章自知前几天自己做得太过分了，他连忙起身相迎，显得有些尴尬：
“曾大人，几天不见，会操场上，官勇与湘勇相处还融洽吧！”
他干笑了两声，曾国藩直作呕。
“谢巡抚大人关心！”
“应该、应该！不管官勇，还是湘勇，都是兵勇嘛！为了扫清湖南境内的匪徒贼子，曾大人及众将领辛苦了，本官已上奏皇上，为你们请功。”骆秉章显得十分和蔼可亲，与那天判若两人。
曾国藩冲了他一句：“不求有功，但求无过！”
“是的、是的，我们都是为了保卫大清的基业，才浴血奋战的。曾大人为国尽忠，精神实在可嘉，令本官钦佩不已。若有什么需要，尽管开口，只要我能力所及，一定满足曾大人。”骆秉章假惺惺地说着。
有了这句话，不管你是真心，还是虚情假意，曾国藩就放心了。他笑眯眯地对骆秉章说：“我今日正是来请骆大人帮忙的。”
“哦！什么事情？请曾大人直！”骆秉章有些吃惊的样子。
“曾某奉旨办团练，来到长沙已大半年，多有打扰，心中实在过意不去。”曾国藩字斟词酌，表明自己是奉旨行事，办团练乃是尽忠朝廷。你骆秉章对我冷淡、刁难便是对朝廷之大不敬。
骆秉章干笑了两声，说：“谈不上什么打扰，只是对曾大人照顾不周，还望大人海涵！”
“曾某已决定离开长沙，移至衡阳练兵，今天特来辞行。”
骆秉章心中暗喜，他心想：“你走得正好！省得我出面解决种种矛盾了。只要你不给我找麻烦，提出什么要求，我都满足你。阿弥陀佛！最好你现在就走，官勇与湘勇已水火不容，走了一个，我省心多了。”
他不禁露出了笑容。
曾国藩更是聪明人，他识破了骆秉章的心思，也心说道：“今日我离开长沙不是斗不过你们，而是不愿和你们斗下去，白白消耗了我的精力不值得！早晚有一天，曾国藩会让你后悔莫及。趁你这高兴劲儿，我可就提出要求了。”
两个人对视了一下，都干笑了一下。
曾国藩开口道：“湘勇尚需严格训练，不知骆大人可肯送一、两位大帅与我？”
“好说、好说！湘勇也好，官勇也好，都是我们湖南的兵勇，曾大人的要求一定满足。但不知你看上了哪位将领，只管开口。”
“塔齐布。”
“可以，我令塔齐布带五百官勇跟你。此外，我这里还有一位优秀的将领，不知你可肯收下他？”
“谁？只要是优秀的将领，我都要。不过，君子不夺人之美，我若要了他，骆大人要忍痛割爱了。”
“跟你、跟我，都是效忠大清。这个痛，我愿受！那人便是杨载福。”
曾国藩心中大喜，他早就听塔齐布提及此人，只是未曾见过面。
杨载福，湖南新宁人，武举出身。他作战勇猛、为人憨厚、胸襟宽广，有大帅之风范。而且，杨载福与塔齐布是一对好朋友，他们经常在一起切磋武艺。
为什么骆秉章主动把杨载福给曾国藩呢？
这里面自有奥秘：骆巡抚认为曾国藩出山办团练，其手腕是狠毒一些，所揽之权是多了一些，但是，他的功劳也不小。若不是他的“审案局”疯狂地sharen，长沙一带会如此平静吗？自从“曾剃头”名声传开以后，湖南境内的小股农民暴动几乎不见了。再者，他的湘勇出外作战，保存了官勇的实力，又不需要拨给他军饷，何不帮他一把？如果他的队伍在衡阳一步步发展壮大，大则出省作战，小则清除地方不靖。送一、两个将领给他，将来也好控制他的兵勇。一举多得，何乐而不为！
曾国藩带着罗泽南、王、塔齐布、杨载福、曾国葆等人以及三千兵勇来到了衡阳。
一到衡阳，感觉就与长沙截然不同。衡阳知县陆传应亲自出城相迎，他远远地下了马，以大清朝官制之礼节，跪迎曾国藩。
“曾大人一路辛苦了！”
“陆大人，快快请起！”曾国藩一激动，一股暖流涌上心头。几个月以来，他不知遭受了多少个白眼，也不知听到过多少句刺耳的话，他已经“习惯”了那些。今日之礼仪让他顿感欣慰，人间尚有情义在！
陆知县为曾国藩及罗泽南、王、塔齐布、杨载福、曾国葆等人接风洗尘，并拨出银两款待兵勇。曾国藩十分感激，他对陆知县说：
“我们到此多有打扰，请陆大人多包涵！”
“曾大人太谦虚了，你堂堂的二品朝臣愿屈尊至敝县，小弟顿感蓬荜生辉。”
两个人客套了几句，他们便归正传。曾国藩询问衡阳境内的若干情况，陆传应一一解答。最后，陆知县明确表态：
“需要招兵勇，曾大人只管放心地去招；需要军饷，小弟能给以少量的解决；需要练兵场，我们已物色了一处空地，马上就可以去看一看；需要把你和将帅的家眷接来，小弟会妥当安排。”他考虑得十分周到，曾国藩再次表示感激。他握住陆知县的手，一一作答：
“你想得很周到。不过有许多问题，我们自己可以解决。兵勇已有三千，我们打算再招两千，郭大将军（郭嵩焘）已在湘乡一带着手此事；至于军饷，我们也力争自己解决，刘大将军（刘蓉）来信告知，他已筹饷二十多万两，不够的话，我们暂借你一些，日后一定奉还；操练兵勇，可利用吴三桂留下的校场；家眷一个也不准来，现在是非常时期，儿女情长统统要抛在脑后。”
两天后，曾国藩等人便投入了轰轰烈烈的练兵之中。他将三千兵勇交给罗泽南、王、塔齐布带领，派杨载福去湘乡一带协助郭嵩焘招募兵勇。罗泽南与王是书生出身，在带兵打仗方面要向塔齐布学习。塔齐布却也十分谦虚，并不以“武师”自居，反而口口声声称罗泽南为老师。
两天后，曾国藩等人便投入了轰轰烈烈的练兵之中。他将三千兵勇交给罗泽南、王、塔齐布带领，派杨载福去湘乡一带协助郭嵩焘招募兵勇。罗泽南与王是书生出身，在带兵打仗方面要向塔齐布学习。塔齐布却也十分谦虚，并不以“武师”自居，反而口口声声称罗泽南为老师。
三个人关系很融洽，曾国藩心里十分高兴。
此时，刘蓉已带着二十多万两白银来到了衡阳，陆知县又送上十几万两，军饷得到了解决。
曾国藩心里松了一口气。俗话说：手中无钱难办事！
如今手中有了钱，有件事还是很难办。那就是：曾国藩是帮办团练大臣，他的职责是“帮同办理，”没有权力大规模地招兵买马。全国几十个帮办团练大臣，相比起来，他手中的兵勇最多。若要继续扩大规模，必须找一个名正顺的理由。
毕竟是好朋友，刘蓉一眼就看穿了他的心思。刘蓉献上一计：
“涤生，早在京师时，江忠源与你私交甚好。如今何不求助于他？”
曾国藩沉吟片刻，对老朋友毫不隐瞒什么：“不错，他曾经拜我为师。可是，人情薄如纸，不知他今日可认得我这个无职无权之人。如今江忠源为湖北巡抚，官居二品，而我是不官不绅的团练大臣，也为二品。我这个二品比不上他那个二品，他正走红，肯帮助我吗？”
江忠源的确应称曾国藩为“恩师”。当年两个人在京城的时候，曾国藩欣赏他的直率与豪爽，并把他推荐给朝廷。那时，曾国藩认为京城里找不到几个他这样的人了！如果江忠源能被朝廷重用，他将会为大清铲除“妖孽，”建立卓著功勋。
江忠源回到湖南以后，曾国藩又多次在咸丰皇帝面前推荐他，咸丰皇帝谕令前任湖南巡抚张亮基启用江忠源。江忠源果然不负众望，他在“剿匪”中屡建战功，授为知县，后又迁升为湖北按察使，赏二品顶带。太平军进入湖北后，江忠源带了一批当地招募的绿营兵，从太平军手中夺回了武昌，这才有了今日赫赫有名的湖北巡抚江忠源。
今非昔比，世事难料。今天的江忠源还记得当年曾国藩的知遇之恩吗？
应该能记得！可是，曾国藩没有把握。
自从长沙被几个人排挤、打击以后，他对人世间的苍凉与无奈看得更透了。这世界上，你不欠任何人的情，任何人也不欠你的情。交往时，人们之间互相利用而已，最好当时就把恩怨扯平，两讫了多好；散伙后，你不要想着如何去“还债，”更不要想着让人家来“还债”。
今天，江忠源愿意帮忙是情份，马上也给他一定的帮助，省得日后去“还债”；江忠源不肯帮忙是本份，也不会因此而成为陌路人。
抱着一线希望，曾国藩给江忠源写了一封信。
很快，江忠源回了信。在信中，他说：
“我在湖北听说家乡出了个‘曾剃头’，就知道是先生您。先生早有报国之志，且是嫉恶如仇之人，能以强有力的手段剿杀莠民，非先生莫属。如今先生为团练大臣，小弟当鼎力相助。先生不便公开招募兵勇，如遇不嫌，请以小弟之名招募兵勇。并由小弟上奏皇上，称：‘曾国藩加紧训练兵勇，不久将开往湖北协助臣歼灭太平贼子’，皇上定准奏。此外，湖广总督为吴文熔，是先生当年的阅卷老师。他常在小弟面前提及先生，称赞先生才华盖世、一腔热血，为大清朝少有的忠臣。先生如需他出面调解与骆秉章的关系，吴大人不会推辞的……”
读完来信，曾国藩热血沸腾。
原来，他太低估自己了。有人打击、排挤他，也有人钦慕、赏识他。
谁说人情薄如纸，原来也有重情人！
手中有钱又有权，曾国藩还犹豫什么呢？
借江忠源之名，他公开地、大量地招兵买马。一个月后，兵勇已达五千多人。对此，湖南人的表现有所不同：巡抚骆秉章不表态，提督鲍起豹恨得咬牙切齿，布政使徐有壬冷嘲热讽，按察使陶恩培恶毒攻击。
对此，曾国藩不予理睬。
他一心要训练出一支有较强战斗力的军队，这个军队不是乌合之众，而是新型正规军。它不同于腐朽、软弱的绿营军，也不同于将骄兵惰的八旗兵，它能对付强大的太平军，为大清收复众多失地。
这个军队属于他自己，应称为“湘军”或“曾家军”。
一支军队有武将，还要有文官。曾国藩写信给老同学李元度，请李元度来营中任军师。李元度是他在岳麓书院读书时的同窗好友，与郭嵩焘、刘蓉、罗泽南等人也十分交好。
李元度带来了一个人，他便是曾国藩的“学生”——陈士杰。
陈士杰，湖南桂阳人，道光末年进士。当年京城会试，曾国藩为其阅卷，他们从此有了“师生之名”。去年，陈士杰父丁忧回乡守制，他早想投笔从戎，又怕老师曾国藩不接纳自己。当李元度启程赴衡阳时，陈士杰鼓足了勇气，要求一同步入戎马生涯。
曾国藩热烈欢迎两位儒生的到来。他们到了军中，便形成了以曾国藩为核心的“岳麓书院书生指挥部，”这对湘军的发展壮大与军纪建设十分有利。
“书生指挥部”的首脑分析了绿营军与八旗兵屡遭惨败的根本原因是将骄兵惰。而形成这一现象的主要“土壤”是将与将不和睦、卒与卒不熟悉。若要把湘军建设成有强大战斗力的新型军队，非避免这些问题不可。
五千兵勇中，新招来的尚需加强训练，老兵则要改造。尤其是塔齐布带来的那五百人中，有四分之一人沾染了绿营军不良习气。其中二三十人品行尤其恶劣，非改造他们不可。
提高军队的作战能力，将帅是关键。曾国藩虽然进士出身，他对军队建设不太内行，但是他能够虚心请教，逐步培养并提高自己的军事能力。他认为旧式军队在战场上往往是一团散沙，没有统一的指挥势必导致“胜则相忌、败不相救”。
作战讲究呼吸相顾、痛痒相关，赴汤蹈火、同生共死。要做到这一点，必须改“兵为国有”为“兵为将有”。曾国藩等人曾在塔齐布的军营中进行过调查，结果发现老兵存在着一个观点，即“当兵为的是糊口”。有不少在家之时，因吃不起饭才愿意出来当兵的。
有这种思想的人岂肯为大清朝卖命，每当上了战场，他们便躲在安全地带保全性命或偷偷地跑掉。罗泽南吃惊地问他们：
“战场上开溜，不怕被上司逮住严惩吗？”
老兵当然不可能承认自己也在这么干，他们就像讲别人故事似的，笑着回答：
“当然不怕！”
“为什么？难道说绿营军军纪松弛到这般地步？”
“那怎么可能，绿营军一旦发现逃兵格杀勿论。有时，一个兵逃了，还殃及全家人。”
罗泽南纳闷儿了。在他再三追问下，老兵才道出原委：“之所以敢逃，是因为没有人认识逃兵。由于将领们勾心斗角、争权夺利，无暇接触士兵。一个军营中，除了老乡之间比较熟悉一些，其他人谁也不认识谁，将领们更不认识我们。他们不关心士兵也好，逃跑时危险性小一点。”
语之间，老兵得意神情似乎比失落之感还强一些。
怪哉！一个军营中，将领与士兵居然陌生到这般地步，战场上能打败敌人吗？
罗泽南向曾国藩提供了应该吸取的教训，于是，曾国藩着手改革军制的首要任务是兵为将有。
湘军的将领应具备以下几个方面的素质：会治军、不怕死、不求名、不贪利，能吃苦耐劳，有忠义血性。
曾国藩令人将布告公布于众，由大家推选“基层领导”。这下子，军营里一下子热闹了起来，有互相推荐的，有毛遂自荐的，有公开选举的。
曾国藩令人将布告公布于众，由大家推选“基层领导”。这下子，军营里一下子热闹了起来，有互相推荐的，有毛遂自荐的，有公开选举的。
“基层领导”叫“什长，”什长可带十个兵，是军队里最小的官，但却是很重要的人物。他在士兵面前要有绝对威信，在哨官面前要绝对服从命令；哨官的顶头上司是营官，一个营有十个哨，每哨五十人；营官必须服从统领的指挥；统领服从于大帅；大帅服从于“书生指挥部”。
“书生指挥部”的核心人物是曾国藩。
于是，从曾国藩到士兵，有大帅、统领、营官、哨官、什长各级“领导”构成一个严密的“网络，”这比大清的正规部队管理起来方便多了。此外，他们还明确规定下级服从上级，越级不得行使职权。一军之权全付统领，大帅不能直接遥控营、哨；一营之权皆属营官，别人无权干涉。
各级长官各司其职，一旦发现玩忽职守者轻则批评、教育，重则仗罚，更严重者革职问罪，甚至砍头；同时，不管哪级长官取得了成绩，一律予以奖励，有物质方面的，也有精神方面的。少则白银几两，多则赏银数十两，并予以公开表彰。
这样以来，湘军各级领将纷纷投入最大的热情、使出各种招数，努力做出优异的成绩，以求全军统领——曾国藩能多看他几眼。
有了与绿营军、八旗兵完全不同的将领，还要有与绿营军、八旗兵完全不同的士兵。将与勇齐心协力才可能取得巨大的胜利。招募新的兵勇时，曾国藩一贯主张以亲缘、地缘作为军队的凝聚力。避免出现国家正规军那种现象：兵与兵关系疏远，械斗事件屡禁不止。
暗地里，曾国藩曾对罗泽南、郭嵩焘、刘蓉、曾国葆、塔齐布等人说：
“打起仗来，除了要求士兵冲锋陷阵、英勇无畏以外，还要求他们有同生死、共命运的精神。为什么绿营兵会出现胜则相忌、败则不救的反常现象？只是因为他们之间缺乏团结、协作的精神，没有‘一家人’的亲情纽带。我们的湘军是一个大家庭，每一位士兵不是我们的兄弟，就是我们的儿子。对于自己的亲人如何相爱、相救，就应该怎么对待我们的士兵。”
众人皆点头赞同他的观点。他们在招募兵勇时，注意血缘与地缘的特殊纽带，使湘军成为一个团结的大家庭。曾国藩认为新宁、长沙一带会党活动频繁，农民受其影响较大，所以不宜在这两地招兵。而自己的家乡湘乡县地处偏僻，农民思想比较落后，易于感化，可以多招一些。
而且，每位兵勇都要写清详细的家庭住址，父母、妻子、儿女姓名登记在册，必须取保具结，以便清查。万一有人逃跑，也是“逃了和尚，逃不了庙”。
四弟曾国葆片面地理解了大哥的意思，仅仅十来天就从家乡湘乡县带来三、四百人。曾国藩“阅兵”时发现其中掺杂着不少游手好闲之徒，他冲着曾国葆大发雷霆：
“你是个死脑筋吗？为何招来一批游手好闲之徒？”
曾国葆好委屈，他争辩道：“你不是强调以亲缘、地缘作为纽带吗？我带来的全是高湄山人，有不少就是我们的远房亲戚。”
“饭桶！你只知其一，不晓其二。以亲缘、地缘作为纽带不等于说地痞、流氓、匪徒全带来。我们要净化军队，不允许掺进‘杂质’。”
罗泽南在一旁解释道：“国葆，你大哥说的有道理。招募兵勇宜选那些偏远山区憨厚、朴实的农民，那些游手好闲之徒岂肯沙场拼杀，招来他们只是累赘，白白消耗军饷。”
曾国葆自知有错，他低下了头，小声问：“人都招来了，如何处置他们？”
“每人发三两银子，打发走算了。”曾国藩头也不回，他还得去别处“阅兵”。背地里，留下来的士兵议论纷纷，他们不由地对曾国藩敬畏起来。
将领选定了，兵勇招足了，下一步的工作便是加紧训练。训练、训练，有“训”，还要有“练，”两者缺一不可。
曾国藩虽是儒生出身，但如今他组建湘军，俨然成为武将了。按照他的话来说，这叫“改行，也要改出个内行来”。他也算是聪明人，深知带兵打仗光靠精湛的武艺、勇敢的精神还不行。动之以情、晓之以理，让兵勇心甘情愿地流血、拼命才是好统帅。
书生带兵打仗总忘不了一个“训”字，通过训话使兵勇明白为何要征战南北，为何会流血、拼命。而训话正是曾国藩的特长！
每逢初三、初八日的晚上，曾国藩便身着整洁的长袍，文质彬彬地走上阅兵台，面向五千兵勇，扯开他那微微沙哑的嗓门儿，大声训话：
“各位兵勇：大家辛苦了！今天，我们再来讲一讲各位对大清的贡献、对家乡的奉献。众所周知，近几年我们湖南境内时常有匪徒作乱，加之粤匪惑众，广大老百姓受其蒙蔽也跟着瞎起哄，扰乱了乡间的平静秩序。你们恨不恨那些匪徒？”