山东日军第12军将1941年度“肃正”地区的重点确定为津浦路以东、胶济路以南山区的抗日根据地。9月中旬至10月上旬，日军首先对沂蒙山区周围的泰山区和邦城、码头地区进行“扫荡”，并积极策划于11月初开始对鲁中沂蒙山区抗日根据地进行大规模的“扫荡”，企图一举消灭山东地区的中共党政军领导机关和八路军主力，摧毁沂蒙山区抗日根据地。其参战兵力，除第12军主力（第17、第21、第32师团和独立混成第5、第6、第7、第10旅团）外，还有日华北方面军配属的第36师团、独立混成第3、第4、第9旅团各一部，总兵力5万余人。这是抗日战争时期，日军对山东敌后抗日根据地发动的规模最大的一次“扫荡”。

    10月底，日军向沂蒙山周围地区集结。其部署是：以第32师团和独立混成第10旅团主力集结于新泰、蒙阴、平邑、费县地区；以第21师团、独立混成第5、第6旅团主力集结于沂水、莒县地区；以第17师团主力、第36师团一部集结于临沂地区，对沂蒙山区构成合围态势。

    为了巩固山东抗日根据地，加强山东地区的军政领寻和统一作战指挥，中共中央和中央军委于9月13日指示，山东纵队、第115师军政委员会合组为山东军政委员会，罗荣桓任书记，山东纵队归第115师首长指挥。

    10月7日，山东军政委员会根据日军对鲁中“扫荡”的动向发出紧急指示，指出敌有集中更优势兵力，以沂蒙区为中心，对山东进行长期“扫荡”的可能，要求全区党政军民紧急动员起来，开展全面的群众性的游击战争，采取内外线相结合的方针进行反“扫荡”作战。13日，第115师也发出反“扫荡”作战准备的指示，要求军区、军分区立即划定地方武装及游击小组的作战地域；所有党政军机关有计划地分散，加强对反“扫荡”斗争的领导，主力部队灵活地袭击敌之翼侧和后方交通线与据点。

    11月2日，山东军政委员会针对日军的合围企图决定：中共山东分局和第115师直属队适时转移至鲁南地区；山东纵队直属队转向泰山区；山东纵队第1旅主力转向敌合围圈外围，待机作战；抗大第1分校转向泰安、泗水、宁阳地区，鲁中军区及备军分区和县区武装就地领导民兵坚持斗争；活动于鲁中区附近的教导第1旅和山东纵队第2、第3、第4、第5旅等部，分别在滨海南部和北部、胶济路沿线及新泰以东和烟台一带，积极开展攻势，配合沂蒙山区反“扫荡”作战。

    11月2日，日军开始向沂蒙山区压缩和封锁，北面日军400余人于4日拂晓偷袭驻马牧他的山东纵队指挥机关。山东纵队指挥机关遂分散向东转移，至沂水西北的南墙峪，复遭日军合围，经激战后，转移至新泰西南之石莱一带，跳出日军的合围圈。

    5日拂晓，日军第12军主力由四面一起开始进攻。其中，日军以2万余人的兵力，在飞机、坦克配合下，分11路向中共山东分局、第115师师部等领导机关所在地区进行大合围，并以重兵由北向南进攻。同时，根据以往“扫荡”时八路军多向滨海地区转移的规律，在沂河沿岸河阳、葛沟一带预伏重兵，布成口袋，企图待八路军向东转移时予以围歼；在西面津浦路上，构筑碉堡，加强戒备，防止八路军西撤。面对日军的“铁筒包围阵”，第115师首长决定向西南方向突围，转移至日军兵力较为薄弱的费县东北地区。

    5日黄昏，中共山东分局和八路军第115师等领导机关5000余人，在仅有1个营兵力的掩护下开始突围。6日拂晓，顺利地从留田西南铁山子附近东西不过1.5公里的间隙中，迅速隐蔽地通过第一道封锁线；接着，又在一个25公里的间隙中，隐蔽地通过了第二道封锁线，安全到达蒙山南端的护山庄地区，跳出了日军的合围圈。