彭雪枫与朱德、彭德怀等在一起

与此同时，彭雪枫始终把建立根据地摆在重要地位，确定了“由小块到大块发展，由一块到多块建立根据地”的方针。到1940年6月，建立起以永城为中心的豫皖苏抗日民主根据地。至此，包括津浦路西豫皖苏边区和津浦路东皖东北地区在内的淮北抗日民主根据地初步形成，沟通了华中新四军和华北八路军的联系，造成了向西可以连接中原，向东可以挺进苏北，向南则能与新四军的第4支队和第5支队协同作战的有利形势。1940年5月17日，中共中央电示新四军副军长项英答复国民党第3战区司令长官顾祝同：新四军“彭雪枫第6支队抗战有力，坚持敌后，请予奖励”。在此期间，彭雪枫还担任中共豫皖苏边区党委书记，并亲自创办著名的《拂晓报》和拂晓剧团。　　1940年6月，蒋介石企图逼新四军退出华中，不断挑起摩擦事件，中共中央和毛泽东针锋相对，除揭露上述阴谋外，决定八路军一部南下，协同新四军巩固和扩大华中抗日根据地。刘少奇根据中央指示精神和华中具体情况，提出了“向东发展，向西防御”的基本斗争方针。1940年6月20日，黄克诚奉命率八路军第344旅和新二旅共5个团南下，到达涡阳以北的新兴集，与彭雪枫所部新四军第6支队会师。

两部合编为八路军第4纵队，彭雪枫任司令员，黄克诚任政治委员。7月，中原局报请中共中央和毛泽东批准，将八路军新二旅和第687团，以及活动于皖东北地区的八路军、新四军，包括新四军第6支队第4总队在内，编为八路军第5纵队，由黄克诚任司令员兼政治委员，执行“向东发展”的任务，以八路军第344旅（欠第687团）与新四军第6支队（欠第4总队）组成八路军第4纵队，由彭雪枫任司令员兼政治委员，执行“向西防御”的任务。