3月24日，敵軍採用上次攻打滕縣的戰術，先猛烈轟擊孫連仲軍的防禦工事，接著以坦克為前導，向孫部陣地推進。狂風暴雨般的槍炮彈，把臺兒莊外圍陣地工事基本摧毀，敵人步步逼進。日軍的這種淩厲攻勢，孫連仲部在一無平射炮，二無坦克的條件下，無法反擊。但他們知道，臺兒莊是他們的光榮，也是他們的墳地，因此以血肉之軀與靠近的日軍拼殺，與橫衝直撞的日軍坦克同歸於盡。戰爭中，武器在某種程度上起決定的作用，因此，儘管孫部士兵英勇抵抗，仍被日軍衝入城內。孫部沒有退卻，與城內日軍展開了激烈的巷戰。

　　此時，擔負臺兒莊中央防線北面作戰的湯恩伯軍團，在峰山、棗莊一帶同日軍作戰後不久，置臺兒莊危急於不顧，轉移到姑婆山區躲起來。李宗仁嚴令湯軍團迅速南下，協同孫連仲夾擊臺兒莊正面之敵。湯為保存實力，仗著有蔣介石為後臺，置軍令于不顧，在姑婆山遲疑不進。李宗仁深知其人，一貫自恃是蔣介石的嫡系，驕橫不可一世，也不敢輕易得罪他，因此三令五申，曉以大義。湯仍不予理睬，這邊戰火熊熊，戰鬥慘烈，那裏卻養兵于山區，無動於衷，李宗仁陷入痛苦之中。軍情危急，李宗仁無可奈何之下，再次發電湯恩伯：“如再不聽命令，殆誤戰機，當以軍法論處，同韓復榘同樣下場。”湯敬酒不吃吃罰酒，李宗仁下了死令，他才同意揮師南下。

　　然而，此時臺兒莊孫連仲部守軍已傷亡殆盡，全莊四分之三地盤為日軍佔據，他們一面在電臺宣稱已將臺兒莊佔領，一面調集重炮、坦克瘋狂衝擊，企圖一鼓作氣，完全奪下臺兒莊。孫連仲強烈地意識到，再孤軍死守，將全軍覆亡，因此4月5日直接與李宗仁通電話，要求把部隊暫時撤到運河南岸，讓他的第二集團軍留點“種子”。李宗仁聽得出，孫連仲講這番話時，語調幾乎是哀婉的，他深知孫的處境是何等的艱難，又是何等的悲壯，但李宗仁更清楚，臺兒莊目前的重要性，他估算著湯恩伯軍團第二天中午可趕至臺兒莊北部，因此鼓勵孫連仲説：“敵我在臺兒莊已血戰一週，勝負之數決定於最後5分鐘。援軍明日中午可到，我本人也將於明晨來臺兒莊督戰，”你務必守至明天拂曉。”説完，李怕孫情緒低下，影響士氣，又下令道：我的命令如若違抗，當軍法從事。孫連仲以前雖和李宗仁只一面之緣，但聽人説過，李在戰區司令官中，屬較通情的一位，此時此刻李下這樣的命令，深知臺兒莊對整個戰役至關重要的價值，以及李宗仁對此次戰役勝利的信心。於是孫態度堅決地表示：“我絕對順從命令，整個集團軍打完為止。”孫連仲的態度，使焦急萬分的李宗仁感到有些安慰，但他總有些不盡放心，於是又指示孫連仲，“今夜你還須向敵夜襲，以打破敵軍明晨拂曉攻擊的計劃，則湯軍團明日中午到達後，我們便可對敵人實行內外夾擊。”孫表示部隊已用完，夜襲不容易。李聽後立即指示：“我現在懸賞10萬元，你將後方凡可拿槍的士兵、擔架兵、炊事兵與前線士兵一起集合起來，組織一支敢死隊，實行夜襲。這10萬塊錢將來按人平分。”孫連仲將李宗仁的命令傳達後，數百人一支的敢死隊很快成立起來。4月5日午夜，敢死隊分組向敵出襲，衝擊敵陣。他們個個精神異常振奮。各自為戰，已是血戰經旬的敵軍，也筋疲力竭，深夜正墮入夢鄉，聽到不知從哪來的槍聲，頓時亂作一團，一面倉皇應戰，一面後退。經數日血戰為敵所佔的臺兒莊各街，競在短短不到一小時內，一舉奪回四分之三。此時，李宗仁不但得報孫連仲夜襲成功的喜訊，又得湯恩伯部翌日天明前可趕到臺兒莊的消息，高興極了，他立即率隨員，連夜親自趕到臺兒莊郊外，準備親自指揮對礬谷師團的殲滅戰。

　　磯谷師團的厄運終於降臨了。6日黎明之後，臺兒莊北面，槍炮聲漸密，湯恩伯軍團已向敵人開火。礬谷知已陷入重圍，開始動搖，下令部隊全線撤退。4月6日晚，李宗仁親自指揮臺兒莊守軍全線出擊。一直防守遭攻的孫連仲部，聽説反擊，神情振發，命令一下，殺聲震天。此時敵軍已成強弩之末，彈藥汽油也用完，機動車多被擊毀，全軍喪魂落魄，狼狽逃竄。李宗仁命令部隊猛追，敵兵遺屍遍野，各種輜重到處皆是，礬谷本人率殘部拼命突圍。至此臺兒莊戰役勝利了。臺兒莊會戰，擊潰日軍第五、第十兩個精銳師團的主力，殲滅日軍2萬餘人，繳獲大批武器、彈藥，嚴重地挫傷了日軍的氣焰，振奮了全民族的抗戰精神，堅定了國人抗戰勝利的信念。