1946年12月，陈毅和粟裕率领的山东野战军与华中野战军在宿北成功击退了国民党军的进攻后，本计划等待张灵甫带领的部队北上，再发起一次围歼战。然而，形势急转直下，薛岳不甘心宿迁的失败，立即命令马励武带领部队东进，直插临沂。山东的守军未能抵挡住敌军的进攻，最终败退。陈毅和粟裕迅速调动部队向鲁南方向回撤，准备在该地区展开围歼敌军的战斗。

当时，薛岳指挥的国民党部队包括原东北军的整编51师、西北军的整编33军，以及中央军的精锐部队——马励武所率的整编26师，还配有一个快速纵队。马励武的部队装备精良，拥有数十辆坦克、百门大口径火炮、500多辆汽车，具备了极强的机动作战能力。整编26师师长马励武，毕业于黄埔军校，深受蒋介石器重，是蒋的亲信之一。

在进攻华野大本营的过程中，马励武得知戴之奇指挥的整编69师已经被陈毅、粟裕指挥的部队歼灭，这让他不敢继续冒进。于是，他决定带领整编26师和快速纵队转入防御，向临沂西南的卞庄和向城等地退守。左翼的整编51师部署在枣庄、齐村一带，右翼的整编33军59师、77师等部队则位于台儿庄以东地区。需要指出的是，这些部队大多为地方部队，与中央军关系不佳，增援时力度有限，也正因此，马励武在后来的围困中未能得到足够的支援。

在鲁南战役中，原西北军的33军虽然距离陈粟部队较近，但其装备和战斗力明显不如整编26师及其快速纵队。那么，为什么陈毅和粟裕没有优先解决这支部队呢？其实原因很简单。33军中有两位将领——张克侠和何基沣，他们本有可能起义，并为解放军日后提供大用，因此，陈粟决定暂时不与其正面交锋，留待后续处置。

宿北战役刚刚结束不到两周，1947年1月1日，粟裕率领的部队突然向薛岳和马励武的阵地杀来，让他们措手不及。当日，参战的解放军部队全员进入阵地，并准备展开进攻。1月2日晚，解放军突然对马励武所部发起猛攻。到3日，山东野战军和华中野战军成功将敌军分割包围，并在接下来的几小时内全面进攻，最终歼灭了整编26师的大部分指挥系统，造成其指挥瘫痪，陷入混乱。驻守在太子堂的第44旅和驻守卞庄的169旅也在解放军的进攻下被彻底消灭。 1月4日，整编26师残部在快速纵队的坦克和大炮掩护下，试图突围。但令他们没想到的是，当天雨雪交加，泥泞的道路使得他们根本无法顺利撤退。到9日，马励武被俘，整编26师及其快速纵队的残部也在接连的进攻中被全歼。解放军迅速扩大胜果，至20日，再次歼灭了整编51师的师部和两个团，师长周毓英被俘。 鲁南战役持续了19天，解放军付出了8000余人的伤亡代价，歼灭了国民党军两个整编师的师部、四个旅以及一个快速纵队，总计共歼敌5.3万余人，其中俘虏3.6万人。解放军还缴获了坦克24辆、大口径山炮和榴弹炮89门、汽车474辆以及各种火炮200余门（其中105毫米榴弹炮48门）。由于缴获的战利品极为丰富，华野随即组建了第一个特种纵队，极大增强了部队的火力和战斗力。