宿北战役后，为了继续扭转战局，争取战争主动权，中央军委和毛泽东于1946年12月25日，电示陈毅、粟裕，在鲁南“打一个比宿北更大的歼灭战”。12月28日，陈毅、粟裕在赵镈县刘家港口村主持召开了由纵队司令员、师首长参加的鲁南作战会议，决定山东、华中野战军协同作战，回师鲁南歼灭国民党军第26师及快速纵队。

战斗打响前，国民党军队的兵力部署大体是：整编第26师及第一快速纵队位于临沂西南，第26师师部及直属部队驻向城西南方向的马家庄一带，其第169旅主力位于卞庄、塔山、南北芙蓉等地，第44旅旅部位于平山、傅山口、尚岩；整编第51师系东北军，其主力仍位于枣庄；整编第33军系西北军，所属整编第77师、59师位于台儿庄、四户镇地区。整编第26师是蒋介石的嫡系部队，又有快速纵队配合作战，其师长马励武自恃是进攻的主力，神气十足地充当打头阵的急先锋。

根据战役部署，华东参战部队分为左右两个纵队。第八师、九师、十师、四师的一个团与滨海警备旅共12个团组成右路纵队，统由鲁中军区司令员王建安、政委向明，鲁南军区政委傅秋涛、副司令员郭化若指挥。左纵队由华中第一师、山野第一纵队共15个团组成，归山野参谋长陈士榘指挥。鲁南地区的地方武装及民兵担任侧翼钳制与敌后袭击的任务。

1947年1月1日拂晓，华东各参战部队秘密进入集结地域，野战军指挥部（以下简称野指）也于2日晚全部进入碑柱一带驻地。国民党军队对此毫无察觉，第26师师长马励武下令部队停在马家庄一线，到附近村庄搜罗物资，庆祝元旦。然后马励武则离开部队，到后方峄县城的师司令部参加元旦晚会去了。

在陈毅、粟裕的指挥下，1月2日晚22时打响了鲁南战役。国民党军猝不及防，马励武在峄县城尚未归队，第26师成了无头的苍蝇乱了营，右纵队趁势向其发起攻击。激战至3日拂晓，歼第26师一个多团，将其北侧外围阵地大部占领。左纵队当晚包围了卞庄第26师一个团，各部队均按作战计划顺利展开。两路纵队达成了对第26师的战役合围与部分战术分割。由于行动迅速突然，使第26师完全陷入混乱。激战至4日晨，第26师师部及所属两个旅大部被歼，残部则被紧紧包围在陈家桥、作字沟狭小地区内。此时，正在峄县城看京戏的马励武得此信息，向徐州求援未果后，无奈地下令第26师和第一快速纵队残部向西突围。由于道路泥泞、风雪交加，敌人辎重车辆、坦克在泥泞中乱作一团。而华野左、右两路纵队遵照陈毅的命令，多路出击，奋力追击堵截。从上午10时激战至下午3时，除先头的7辆坦克狼狈逃往峄县城外，全部美式装备的整编第二十六师和快速纵队共3万余人全部被歼。战役第一阶段至此胜利结束。

                                                                          鲁南战役的指挥员合影