4月2日，因第20军团放弃对獐山的进攻，日军第10联队遂南进至台儿庄以东地区，10时30分向第27师彭村，陶沟桥等处阵地进攻，战斗至19时，第27师后撤至边庄、火石埠之线。日坂本支队此时亦进至陈瓦房、耿庄一带，与第10联队取得联系，其留置后方担任掩护的部队，被第52军第25师歼灭于刘庄。

    由于日军第10联队及坂本支队均向台儿庄以东前进，李宗仁急将刚至碾庄一带之第75军转至岔河镇地区，将由临沂调来之第57军第111师第333旅，进至鲁坊，均归第20军团长汤恩伯指挥，决心集中兵力，将台儿庄附近日军围歼于邹县、台儿庄之间。

    4月3日，台儿庄城内和城外日军，继续与第31师及第27师部队血战。

    日军虽在火力上占绝对优势，但在第2集团军等的英勇抗击下，进展极微。日军对中国军队不怕牺牲的爱国主义精神，极为惊佩。日军第10联队4月2日的战斗详报说：“对中国军队第27师第80旅昨日以来的战斗加以检讨……他们据守散兵壕，全部顽强抵抗直至最后。他们在狭窄的散兵壕内，重叠相枕，力战而死之状，虽为敌人，观其壮烈之态，亦为之感叹。战斗中曾使翻译劝其投降，但无一应者。战至尸山血海的精神，并非独为我军所特有。无视他人，自我陶醉，为我军计，对此应有所惧戒。”

    4月4日，濑谷启发现中国军队有向其翼侧及后方包围的征候，急令第10联队主力向台儿庄以北集结，留约1个中队与台儿庄城内日军呼应。日坂本支队，进攻受挫，被第75不及第85军包围于大顾珊、火石埠一带。4月5日，坂本支队与后方的联系已全为第20军团切断，弹药、粮秣暂由濑谷支队补给，战斗已陷于困境。当晚19时川分，致电濑谷启，告知准备于6日开始退回临沂。此时，濑谷支队对台儿庄的攻击亦处于被动地位，留置黄林庄的1个中队已被第27师击退。

    军委会因第20军团迄今未按命令对进攻台儿庄的日军进行侧击，致台儿庄形势日趋危急，蒋介石于4月5日12时致电汤恩伯；“台儿庄附近会战，我以10师之众对师半之敌，历时旬余未获战果，该军团居敌侧背，态势尤为有利，攻击竟不奏效，其将何以自解？急应严督所部于六、七两日奋勉图功，歼灭此敌，勿负厚望。”汤恩伯接电后，积极部署进攻。

    4月6日晨，第20军团第52军逼近日濑谷支队部所在之杨庙附近，第58军及第75军将板本支队包围于邢家楼、大顾珊。濑谷启决定退却。在究州的矶谷廉介电令濑谷启，不准其后退。但濑谷启怕被全歼，抗命撤退。由于退逃仓促，又在中国军队进攻之下，所以，弹药，被服、粮秣及战死者的尸体，均不及带走，全部放火焚毁，有些重型机械化武器，也因弹尽油竭，被迫破坏遗弃，仅台儿庄附近，即有155重炮2门及履带牵引车4辆，坦克8辆遗弃于战场。

    台儿庄城内日军与第31师隔墙相接，邻屋而战，当然不可能安全撤走，在密集手榴弹封锁下，相当一部分在最后一刻被歼。7日凌晨，台儿庄城内日军全被肃清，濑谷支队退至官庄。板本支队得知濑谷支队北逃，亦于当夜在火力追击下撤逃。本欲返回临沂，因第20军团主力均在东北方向，无力突围，遂改向西北败逃，向第10师团靠拢。

    李宗仁于7日13时下令追击，日濑谷，坂本两支队于8日退至峄县、枣庄南一带，占领阵地，改为防御。第20军团及第2集团军进攻至11日，仍无进展，形成暂时对峙，参加台儿庄战斗的中国军队。总计伤亡19500余人，日军伤亡11984人。

    李宗仁、白崇禧欲歼灭峄、枣日军，感到兵力不足。恰于此时，得到来自天津的失实情报，认为“台儿庄胜利己激起日反战运动，致预定