3月下旬，日軍以七八萬兵力，在華北方面第二軍司令官西尾壽造指揮下，分兩路向臺兒莊進發。一路為坂垣第五師團，自1月12日在青島嶺山灣、福島兩處強行登陸後，沿膠濟路西進，至濰縣轉南，經高密，循諸城、榮縣一線，進逼臨沂；一路為礬谷的第十師團，該師團沿津浦路南下，直取臺兒莊。

　　2月，中國軍隊為堵截日軍前進，在臨沂、滕縣同日軍發生了激烈的戰鬥，揭開了臺兒莊會戰的序幕。2月下旬，臨沂告急。該地是魯南軍事上的必爭之重鎮，得失關係全局。在此緊急關頭，李宗仁令守防海州的龐炳勳軍馳往臨沂解救。雖説龐氏統有1個軍，其實兵員不足，只有5個步兵團，但龐氏在部隊中威信極高，指揮靈便，部隊戰鬥力強。剛到臨沂縣城，還未來得及休息，龐部便與日軍展開激烈攻防戰，日軍以1個師團的優勢兵力，配以山炮1團，騎兵1旅，向龐部猛撲，夜以繼日，反復衝殺。臨沂城墻高大而又堅固，野山炮也打不穿，龐部憑藉這優勢，據城死守，使敵人不能越雷池一步，城下敵屍枕藉。龐部的成功據守，是不可一世的日軍所始料不及的。

　　李宗仁擔心龐部勢孤不能長守，于9月11日，令五十九軍張自忠部由滕縣增援臨沂。張接到李的命令後，以一晝夜180里的速度趕到臨沂。臨沂的龐部見援軍到，雖筋疲力竭，但士氣旺盛。兩軍內外夾攻，如疾風驟雨向坂垣反擊，坂垣從宮縣增兵2000人，以飛機大炮掩護，配合坦克、裝甲車進攻。龐、張兩部咬緊牙根，堅決頂住，與日軍激戰數日，反復肉搏，擊潰坂垣師團一旅，敵死傷過半。3月17日晚，敵向沂水退卻，龐、張闔力窮追一晝夜，日軍一退90里，縮進莒縣城內死守。

　　在李宗仁的指揮下，臨沂之戰取得了驚天動地的勝利，它砍斷了津浦路北段日軍的左臂，粉碎了日軍會攻臺兒莊的計劃，促成了以後臺兒莊會戰中，李宗仁圍殲孤軍深入合兒莊的磯谷師團的契機。

　　坂垣敗績纍纍，礬谷仍然武士道精神十足，不顧一切，日益向南推進。礬谷比坂垣更兇，李宗仁檄調自鄭州來的鄧錫侯第二十二集團軍的第四十一軍孫震趕往滕縣，拒敵南下；孫部剛在滕縣部置就緒，3月15日，礬谷師團就發動攻擊。日軍以數十架飛機、30余門大炮狂轟濫炸，守軍師長王銘章督戰死守。李宗仁見滕縣危險，又急令新撥歸第五戰區指揮的第二十軍團司令湯恩伯派部馳援。湯的主力八十一軍王仲廉部因行程過遠，未能及時趕到，3月17日晚，日軍配合炮火攻陷騰縣，20日攻佔郅縣，並沿臺棗支線向臺兒莊陣地突進。

　　對磯谷軍事行動的後果，李宗仁有著充分的估計；此次臺兒莊一失，不但前功盡棄，士氣、民氣受到巨大的挫傷，國內恐日病大漲，而且給日後的戰略轉移帶來難以想象的損失。為了確保臺兒莊，他制訂了相應的作戰計劃。李考慮到孫連仲的第二集團軍最善防守，即令孫派3個師，沿運河佈防，扼守臺兒莊正面陣地，李判斷磯谷前次戰役佔了上風，驕狂不可一世，一定不待蚌埠方面援軍北進，便會直撲臺兒莊，以期一舉而下徐州，奪取打通津浦路的首功。因此，李便決定設圈套，請其入甕。於是，他命令湯恩伯第二十軍團的2個師讓開津浦路正面，誘敵深入，待礬谷直撲臺兒莊後，再回頭撇敵之背，與孫連仲一起將敵圍而殲滅之。事態發展正如李宗仁所預料的那樣，敵人從滕縣南下，舍湯恩伯軍不顧，直撲臺兒莊。敵軍總數約有4萬，擁有七八十輛坦克，百餘尊山野炮和重炮，重輕機關槍更是不計其數。3月23日，礬谷軍衝到臺兒莊北泥溝車站，徐州城內已炮聲可聞，臺兒莊會戰的戰幕正式拉開。