3月23日，濑谷启少将明确了进攻台儿庄的作战行动，主要是：步兵第63联队第2大队配属野炮兵1个大队，组成台儿庄派遣队，向台儿庄进攻。这支派遣队大约只有2个营的兵力。
步兵第10联队第2大队为主体，组成沂州支队，向临沂方向前进，策应临沂方向的坂本支队作战。这支部队大约只有1个营的兵力。
步兵第63联队第1大队在韩庄等地担任守备，主要任务是担任右翼的警戒，保障台儿庄派遣队的右翼安全。
旅团司令部及其余部队驻扎在峄县附近。这部分日军大约有3个营的兵力。
3月24日，就是蒋介石到徐州视察的时候，日军分两路开始对台儿庄的攻击行动。
沂州支队东进至郭里集，就受到汤恩伯指挥部队的阻击。1个营的步兵如何能突破数万部队设置的防线？
台儿庄派遣队数千名鬼子在空军配合下，向台儿庄阵地发起攻击。攻击开始后，日军不断增加兵力，一会儿用重炮轰击，一会儿用坦克冲击，大有一举突破台儿庄阵地的嚣张气焰。
孙连仲总司令深知台儿庄防御战是一场恶战。战斗前夕，孙连仲亲赴前线，指挥部队抗击日寇。他对官兵们说：面对强大的敌人，我们只能依靠地形挡住它，再利用夜里的小突击拖住它。没有命令，决不能撤退！
守卫台儿庄的第31师官兵与日军展开激战，不时地以灵活的战术同日军进行周旋。突然，日军的炮火把台儿庄城寨东北角的城墙炸塌了，日本鬼子看到城墙中的这个突破口，纷纷往城里冲。池峰城师长看到情况万分危急，厉声命令：“敢死队，跟我上！”