中央军委和八路军总部的命令，黄克诚率第二纵队部分主力南下华中，增援新四军。6月底进至淮北地区，与新四军第六支队彭雪枫部会合，并整编为八路军第四纵队，司令员彭雪枫，政治委员黄克诚。7月，在加入另两支地方部队后，改称八路军第五纵队。

    1942年1月“皖南事变”后，为重建新四军，八路军第五纵队改编为新四军第三师。师长兼政委黄克诚，副师长张爱萍，参谋长彭雄，政治部主任吴法宪，副参谋长洪学智。下辖第七、第八、第九旅。7月，第三师即参加了以江苏盐城为中心的反“扫荡”。9月，三师第九旅与四师第十旅对调建制。

    1942年至1944年，黄克诚率领新四军第三师先后参加了淮海区的反“扫荡”作战、盐阜区的反“扫荡”作战和高沟杨口战役等，历经大小战斗战役百余次。1945年春，抗日战争进入战略反攻阶段后，三师在师长黄克诚、参谋长洪学智的率领指挥下，一举攻克阜宁县城。9月6日攻克淮阴，歼敌8600余人，22日再克淮安，歼敌4600余人。

    经过八年的艰苦奋斗，在抗战初期只有几千人的第三四四旅，在黄克诚、张爱萍、洪学智等领导下。已发展成为拥有三个旅、一个独立旅和三个特务团的第三师。全师共3.2万余人。

    1945年8月15日，日本投降。抗战胜利后的国共两党面临着“战”与“和”的两种可能性。当时，在刚被苏联红军解放的东北地区，并无国民党的一兵一卒，实为一真空地带。黄克诚虽然只是新四军三师的领导人，但却具有通观全国战局的战略眼光。他认为或“战”或“和”无论哪种前途，占领东北都是至关重要的一步棋。

    9月13日，刚刚得知苏联红军已全部解放东北消息的黄克诚，马上致电党中央：“建议中央立即派大部队到东北去，不管苏联红军同意与否，要下大决心进军东北”。“并派有威望的军队领导人去主持工作，迅速创造总根据地，支援关内战争”。

    黄克诚的战略建议，与党中央不谋而合。为了迅速抢占东北并建立巩固的东北根据地，党中央、中央军委自8月20日起，就先后向各中央局和各军区发出指示，要求派出组建100个团所需要的干部及大批主力部队，陆续挺进东北。作为新四军主力之一的三师，也奉中央军委之命，在黄克诚、刘震（第一副师长）、洪学智（第二副师长兼参谋长）等人的率领下，由陆路星夜兼程赶往东北。前面已经讲过，在各路闯关东的大军中，新四军三师要算是最苦的了。

    1945年9月下旬，三师所属四个旅和三个团，分成左右两路纵队，陆续从盐阜、淮海地区出发。在跨越了江苏、山东、河北、热河四省，历时两个多月，行程3000里后，总算到达了东北锦州地区。然而，11月下旬的东北早已是寒风刺骨的雪地冰天。三师这支唯一来自南方的部队的指战员们，既没有棉鞋，棉帽和手套，而且从苏北带来的一套薄棉衣，根本无法抵御东北零下几十度的严寒。八旅及先遣人员则更惨，由于出发仓促，来不及准备，仍然身着单衣！另外部队给养也成了大问题、新四军第三师一到东北，立刻就被东北民主自治军总司令林彪，作为主力而看中。11月18日，洪学智率领的三师北上先遣队到达绥中。听说林彪已带领一个骑兵排和一支山东部队前来迎接，洪学智即前往喇嘛洞与林彪接头。

    听完洪学智的汇报后，林彪高兴地说：“好，你们的任务完成得很好，现在东北就是需要部队。”

    1946年1月，东北民主自治军改称为东北民主联军。第三师番号不变。黄克诚仍任师长兼政委，刘震任副师长，洪学智任副师长兼参谋长，政治部主任吴法宪。下辖第七旅（旅长彭明治，政委郭成柱）、第八旅（旅长张天云，政委李雪三）、第十旅（旅长钟伟，政