井冈山会师后，边界的武装力量发生了很大变化。但是，“三个师九个团，加上妇女和娃娃，近万人。这个阶段，我们的粮食又成了大问题。”严峻的形势，使毛泽东也感到心忧。他在1928年5月2日于永新城写给中央的报告中，几乎有点愠怒地写道：“岂有此理的湘南县委和县政府带了一大批农军一起跑来，现在有一万人在这里。”“一万人的群众拖泥带水纪律太糟”，“吃饭大难”。

    鉴于这种形势，十分需要疏散、遣返部分湘南农军、群众回原地坚持斗争。这是因为一来“粮食困难，不利于主力部队作战，陈毅同志领导的第十二师大部分是梭镖武装起来的湘南群众，5000多人，只有少数枪支和土枪，同强敌作战力量有限。同时，湘南根据地基本上没有留下什么革命武装，赤卫队差不多都跟着上了山，地主土豪劣绅卷土重来屠杀百姓随时都有可能。而想要战争持久，就必须设法安置这几千人的梭镖和徒手人员。”

    于是，红四军军委研究决定，湘南农军除留少数能在二十八团、三十一团服务的和二十九团作为主力留下来外，第三十、三十三、三十四、三十五、三十六团一律返回原籍，随农军上山的群众也遣返原籍。

    命令宣布时，这些团的部分人员已在永新。此时，正是四军第一次占领永新城，在永新进行短距离分兵之际。据李奇中回忆：“1928年5月间，湘南地方武装回湘南是在永新乡下决定的。三十六团还在拿山打了一仗，颇为得手。5月底，三十、三十三、三十四、三十五、三十六这几团从江西的宁冈，经酃县的水口向湘南转移，到达资兴县边界的彭公庙，便决定兵分数路，各自回去。”

    由于湘南暴动后向井冈山根据地转移的过程中，湘南农军和党政干部基本上都跟上来了，因之，部队走后，“湘南工作一败如洗。”《杜修经给中共湖南省委的报告》，1928年6月。此次遣返的农军在彭公庙等地分手，各自回到原籍后，有的坚持了斗争，有的在当地很难立足，不少坚定分子惨遭杀害。但革命的火种是扑不灭的。郴县、宜章、耒阳、安仁、资兴、永兴等地党组织，迅即会合了从井冈山遣返回乡的武装力量，重新开始了湘南的革命斗争。

    5月底的遣返湘南农军告一段落后，6月上旬，工农革命第四军的称谓，根据中共中央的统一规定，改为“中国工农红军第四军”（简称红四军）。

    中共中央在1928年5月25日《中央通告第51号——军事工作大纲》中规定：“为保障暴动的胜利与扩大暴动，建立红军已为目前的要求，不一定要等到一省或一国暴动成功，只要建立割据区域，便应当开始建立红军的工作。在割据区域所建立的军队，可正式定名为红军，取消以前的工农革命军名义。”同年6月4日，《中央给前敌委员会的信》中指示：“关于你们的军队，你们可以正式改为红军。”

    于是，同年6月16日，毛泽东在他起草的《湘赣边特委致省委转中央的信》中，就明确提出要“改造军队变成真正的红军”。

    从此，工农革命军就改为“红军第四军”了。“红军”的称谓，开始传遍井冈山。