1940年2月，为了统一太行南部地区抗日武装的指挥，八路军以第115师第344旅为主，正式组建了第2纵队。首任司令员是左权，他是当时非常有名的将领。

左权是黄埔军校一期的毕业生，和陈赓是同届的。他是通过陈赓的介绍加入了中国共产党。土地革命时期，左权曾担任军长，也曾代理过红一军团军团长的职务。抗日战争爆发后，红军改编为八路军，左权担任了八路军副总参谋长，协助八路军副总指挥彭德怀工作。1942年5月，日军对太行抗日根据地进行大规模的扫荡，左权指挥部队掩护中共中央北方局和八路军总部等机关突围转移，不幸英勇牺牲，时年37岁。左权是八路军中牺牲的最高级别的将领，大家都知道他是副总参谋长，但很少有人知道他也曾兼任第2纵队司令员。

第2纵队下辖四个旅，每个旅的旅长分别是：

第一个是河北抗日民军第一旅的旅长朱程。朱程早年在温州商业学校就读，后投身军旅，参加了北伐军，并考入黄埔军校第6期。他还曾留学日本，专攻铁路管理学。1937年，他为了参加抗日救国，回国后进入山西国民兵军官教导团担任教官。抗战爆发后，朱程先后担任河北民军第10、11大队大队长，第11团和第4团的团长。作为11团团长时，他支持中共派出的政治部主任闻允志建立党支部，使得该团名义上是河北民军，实际上由共产党领导。1939年6月，朱程率第4团脱离河北民军，成立华北抗日民军，并成为司令员。同年，他通过朱德介绍加入了中国共产党。1940年2月，朱程被任命为八路军第2纵队民军第一旅旅长，随纵队进驻冀鲁豫边区，兼任冀鲁豫军区第一和第五分区司令员，指挥部队进行多次反扫荡作战并取得了胜利，成功开辟并坚持了以内黄、曹县为中心的沙区抗日根据地。1943年9月28日，在山东曹县王厂反扫荡作战中，朱程为掩护主力突围，亲率百余人顽强抵抗敌人，最终英勇牺牲。

第二个是新编第二旅旅长田守尧。田守尧来自红25军，是徐海东的老部下，参与过创建鄂豫陕苏区的斗争。在红25军时期，他参加了多次战役，经过艰苦的奋斗，最终成为师长，是徐海东信任的猛将。抗战初期，他担任687团副团长，陈锦秀牺牲后升任团长。田守尧表现优异，凭借出色的战绩先后担任344旅副旅长、新编第二旅旅长及支队司令员等职。后来，他奉命率部南下支援新四军，参与创建苏北抗日根据地，并在皖南事变后担任新四军第3师第8旅旅长。1943年3月，田守尧与第3师参谋长彭雄等一批团以上干部赴延安学习时遭遇日军偷袭，英勇牺牲，年仅28岁。

第三个是新编第三旅旅长韩先楚。韩先楚出生于湖北黄安，1927年黄麻起义爆发时，他加入了家乡的农民协会，参加了反帝大同盟，还当过乡苏维埃土地委员。之后，韩先楚参与了鄂豫皖和鄂豫陕革命根据地的反围剿作战和红25军长征。1937年8月，红军改编为八路军，韩先楚担任八路军115师344旅的688团副团长，参加了平型关战斗，并随八路军129师主力南下，创建晋冀豫抗日根据地。1939年起，韩先楚先后担任115师344旅副旅长、代旅长，成为八路军著名将领。1940年初，他担任新编第三旅旅长，兼任冀鲁豫军区第3军分区司令员，成为独立指挥的将领。抗战后期，韩先楚去了延安，几乎没有表现机会。抗战胜利后，他转战东北，接替曾克林担任第3纵队司令员，部队如猛虎一般，所到之处攻无不克，被敌人称为旋风部队。随后，他率部一路打到海南岛。1950年秋，韩先楚参加抗美援朝战争，担任志愿军副司令员。 第四个是第344旅旅长刘震。刘震与韩先楚齐名，也是红25军的成员，曾与韩先楚在同一个班、同一个营。刘震在红军时期主要负责部队的政治工作，是政工干部。在西安事变后，刘震被任命为75师的政委。抗日战争爆发后，75师改编为八路军第115师第344旅，刘震担任政治委员。1938年11月，344旅组建独立团，刘震成为团长，带领部队到冀鲁豫边区开展抗战。1940年初，刘震被任命为新组建的八路军第2纵队第344旅旅长。抗战胜利后，刘震随新四军第3师进军东北，担任副师长，后来成为2纵队司令员，地位稳固。在部队南下时，刘震被任命为新组建的14兵团副司令员兼39军军长。建国后，刘震进入空军，成为中国人民解放军空军的奠基人之一，担任空军副司令员。