伤亡较大，已开始处于不利地位，于是决定，令“豫东、鲁西作战军，即向西转移”。5月31日，下达《战区兵力转移部署方案》。其方针是：“避免与西犯之敌决战”，“主力向平汉线以西地区转移”。主要内容力：令商震指挥第32、第37军及新编35师，万福麟指挥第53军、新编8师，彭进之指挥第70军、第45师，分别防守汗封郑州、汜水巩县和洛阳渑池地区黄河南岸，绝对阻止日军渡河；令开封、郑州、许昌、郾城、驻马店、周家口，准阳、沈邱、商水各地驻防部队，尽力迟滞、消耗日军兵力，掩护主力转移；令石友三、曹福林等在鲁西，豫东进行游击作战，袭扰日军，使其西进困难；令宋希濂军、胡宗南军团、李汉魂军、桂永清军、黄杰军、俞济时等中央嫡系军队，分别向巩县、洛阳、泌阳等豫西及豫西南地区转移。薛岳于6月1日又下达行动命令，要求“各军派出之战场掩护部队，须沉着应战，努力抵抗，迟滞敌军，确实掩护我主力转移之安全”；还规定“孙桐萱、商震两总司令所部，应俟我主力军转移完毕，再于6月3日转移”。

    日本大本营5月29日决定追击行动，停止在兰封、商丘地区，命令：“未经批准，不许越过兰封、归德、永城，蒙城、正阳关、六安一线进行作战”。但华北方向军根本不听大本营的命令，于6月2日将第14师团配同给第2军，令其向兰封以西追击，并令其以一部兵力，迅速挺迸，切断平汉线。

    6月3日，日军第16师团攻占杞县、通许，陈留，新35师师长王劲哉放弃兰封。4日，本已陷于被围困境的日军第14师团占领兰封后，继续向开封进攻。开封守军为第141师（欠第4旅，附税警旅）。5日夜，日军开始攻城，6日凌晨1时许，宋肯堂即率第141师弃城退走，开封失陷。此时，日军第16师团已占领尉氏、扶沟，第10师团已占领柘城。薛岳致电商震：“宋师擅自撤出开封，即令固守中牟县城至中牟车站之线……非奉命令，再敢擅自撤退者，决依法严办。”但事买上，高级将领畏死或无能，豫东会战中擅自撤退及私自逃走者大有人在。加主力军之第29军团第187师“团长张鼎光于2日守杞县猪皮岗时，擅自撤退；该师参谋长涨淑民屡次煽动退却，复敢弃职潜逃；旅长谢锡珍，首先退出猪皮岗，未经报告师长，便借口收容，擅自乘车南下；叶赓旅长，当唯县之战时，突告失迹，事后知己易服逃赴汉口”。

    日军第14师团及第16师团的西进，严重威胁了第一战区司令长官部所在地郑州及平汉路的安全。当时，第一战区虽有近30个师数十万军队，而且大多为中央嫡系的所谓主力部队，却不敢抵抗日军2个师团的西进，最高统帅蒋介石决定掘开黄河、制造水障，以阻止日军西进。这一主张，在蒋介石思想上并非临时产生，早在1937年7月间，他的德国首席顾问法尔肯豪森就曾建议“将黄河决堤”，以阻止日军。1938年4月13日，正当台儿庄战场上中国军队追击败退日军时，陈果夫又致函蒋介石，主张准备在河南武涉的沁河口附近决黄河北堤，他是因为“恐敌以决堤制我”而建议采取的反措施，他说：“沁河附近之黄河北岸，地势低下，敌如在下游沿岸任何地点决堤，只顶将沁河附近北堤决开，全部黄水即可北趋漳卫则我大厄可解，而敌反居危地。”蒋介石批示“电程长官核办”。徐州失守后，姚琼等主张由河南铜瓦箱决堤，恢复清咸丰五年前的故道，使黄河河水经徐州，淮阴以北人海；陈诚及其部属则建议由黄河南堤黑岗口等处决口，当日军于6月1日占领睢县，迫近兰封，杞县时.第一战区司令长官程潜即决定决堤。并通过侍卫室主任林蔚向蒋介石请示，得到蒋的口头同意。但程潜深知此举后果严重，又以正式电文请示，经蒋由电文批准后，才开始实施。

    第一战区召集黄河水利委员会