之前曾经有人提到，38军起源于平江起义部队，但如果仔细分析各个团的情况，会发现38军真正直接来源于平江起义的部队，其实只有一个团和两个连而已。另一方面，也有不少研究认为，38军的根源实际上是在八路军344旅685团，而这支部队原本是由红一军团二师改编而来（红三军团合并到红一军团后，其下辖部队改编成红四师）。 这两种说法各有道理，如果细细推敲，还可以发现38军内部有不少单位是由山东纵队改编的，成员多数出自山东。因此，从整体来看，38军的组成是多源融合的。值得注意的是，如果单从38军军部历史来源来看，其前身可以追溯到起义部队——原东北军57军111师。

38军的前身是东北野战军第一纵队，下辖三个师：山东一师、山东二师，以及东北民主联军第七纵队。东北民主联军第七纵队的前身，就是1945年8月根据中央命令开赴东北的山东军区东北挺进军。1945年9月，原山东军区滨海军区副司令员兼滨海支队支队长出任东北挺进军纵队司令员，并奉命率领二支队进军东北。到1945年年底，东北挺进军已经发展到一万四千余人。可以说，东北挺进军司令部的核心成员，主要由原八路军山东军区滨海支队组成，而滨海支队本身就是起义部队，其前身来自东北军57军111师的一部分。 万毅，辽宁大连人，幼年随父母移居金州县城，家境贫寒，但曾接受素私塾教育，颇有文化。早年他曾做过店员，也在奉天省财政厅工作。1925年春，万毅考入东北军陆军军士教导队第4期步兵科，这次参军成为他命运的转折点，他的队官正是张学良。从1926年开始，万毅便在张学良身边工作，先后担任副官处少尉副官、沈阳北大营军械官，受到张学良器重。1929年，万毅考入东北陆军讲武堂第九期，学习刻苦，成绩名列前茅，1930年毕业时位居全校第一，张学良还奖励了他怀表和指挥刀。此后，万毅在东北军中晋升迅速，到1936年，他已成为东北军第109师第627团中校团长，是当时最年轻的团长之一。 当时东北军在西北参与对红军作战，多次遭遇失败，让张学良开始关注红军的战斗力，并意识到红军是一支有信仰的强大力量。东北沦陷后，东北军将士心中都希望有一天能够打回老家。万毅在此期间先加入抗日同志会，后来又担任东北军与红军的联络参谋，逐渐倾向支持中共，并多次掩护中共党员在部队中开展抗日救亡活动。西安事变期间，万毅率部前往渭南一带，抵御进攻西安的中央军。 西安事变后，张学良因押送蒋介石回南京而被扣押，东北军陷入无主状态，内部出现多派分裂。万毅的思想在东北军中几乎被视为异类。他曾评论张学良送蒋回南京太重义气，因此被57军军长缪澄流扣押，并在1937年2月被逮捕入狱。几个月后因无实证被释放。日军全面侵华后，万毅重新担任东北军57军112师第672团上校团长。1938年3月，万毅秘密加入中国共产党，为安全起见，不参加公开组织活动。抗战期间，东北军境遇艰难，蒋介石处处限制非嫡系部队发展，即便参战损失，也无法得到补充。东北军57军所在的中共党支部活动一直在于学忠、常恩多等爱国将领的掩护下持续进行，特别是万毅所在的112师667团，许多中下层军官加入了共产党。 1938年8月连云港保卫战中，万毅率667团参战，声名大振，不怕一万，就怕万一（毅）的说法广为流传。1940年初，万毅调任57军111师333旅代理旅长，当时111师师长常恩多同情中共，二人共同努力激发官兵抗日热情。1940年9月，57军军长缪澄流与日军达成秘密协定，但常恩多察觉后，与万毅联合发起九·二二锄奸运动，驱逐缪澄流，体现出东北军内部的抗日意志。1941年2月17日，万毅被国民党当局逮捕，三项罪名均缺乏证据，他在法庭上据理驳斥，最终趁夜逃脱。 1942年，常恩多病重前已暗中安排111师起义事宜。8月8日拂晓，111师全体官兵脱离国民党统治，向八路军根据地开赴。常恩多于8月9日病逝，中共中央山东分局为他举行隆重追悼会，赞其为抗日爱国的民族英雄。1942年12月，新111师干部会上，万毅当选师长，并根据党的指示逐步将部队改造为人民军队。1944年10月20日，新111师改编为八路军滨海支队，万毅兼任支队长和滨海军区副司令员。抗战胜利后，万毅率部开赴东北，最终实现了东北军打回老家的夙愿。 1945年10月，万毅率东北挺进军进军东北，任司令员并出任中共中央东北局委员。同时担任中共吉林省工作委员会委员、吉林军区第一副司令员。至1945年底，东北挺进军发展至1.4万人。以这支部队为基础，组建东北民主联军第七纵队，成为主力。1946年8月3日，第七纵队与山东军区一师、二师合编，成立东北民主联军第一纵队，万毅任首任纵队司令员。一纵即后来的38军，这也是38军军部可追溯为起义部队的原因。但实际上，一纵成立时，部队来源多元，老红军和山东子弟兵都有，东北军部分仅占三分之一。 最初进军东北时，东北民主联军和东北局高度重视万毅，因其熟悉东北情况。然而到1947年，随着战争形势变化，万毅在指挥上出现跟不上的情况。东北民主联军总部经过考虑，将万毅调任一纵政委，由李天佑接任一纵司令员。万毅起初难以接受，认为自己作为东北人应在一线作战，但最终接受调动，成为一纵政委，向李天佑学习作战指挥能力。1948年3月，东野成立第五纵队，万毅被任命为五纵司令员，随部队南征北战，直至全国解放。 1949年2月，万毅接到通知前往西柏坡参加中共中央七届二中全会，他第一次见到毛主席。毛主席幽默地调侃万毅的姓氏，并称他是张作霖的余孽，万毅笑答自己不能算是余孽，调侃毛主席的话，让气氛轻松愉快。