北洋政府统治时期，虽然各派军阀之间打得热火朝天，但基本都停留在步兵对步兵的阶段，由于装备和经济实力不足，海军这个烧钱大户很难大规模出现在战场上。部分军阀虽然也装备了一些舰艇，但基本都是当前清朝灭亡后留下的一些，数量并不多。但作为奉系军阀首领的张作霖，竟然白手起家，在短短3年内创办和发展出了东北海军，拥有各类舰艇30余艘，另外还配备了航空母舰和海军陆战队。

成立航警处，兴办航警学校

1923年，张作霖已经牢牢控制了东北地区，成为国内数一数二的军阀势力，但按照国际惯例，地方割据势力所办的海军一律不予承认。所以，张作霖只能在其指挥部先专设航警处，任命留学日本海军学校的沈鸿烈任该处处长，除作为未来东北海军的领导机关外，还兼管水警、渔业、航运、港口等业务。

1923年1月航警学校在辽宁葫芦岛炮台山设立，4月1日正式开学，设初级军官班（40名）和学兵班（220名），后来又开办了轮机班（38名），其生源绝大部分为东北三省的子弟，但由于该校从校长到教官大多是沈鸿烈的留日同学，因此该校教学内容、管理方式等完全仿照当时比较先进的日本海军学校模式，这就为东北海军的建立和发展提供了人才准备。

收编吉黑江防舰队

1919年，北洋政府决定抓住苏俄内战的契机，组建吉黑江防舰队北上黑龙江、松花江，接管中苏交界的江防。1919年7月21日下午3时，江亨、利捷、利绥、利川4艘炮艇从上海吴淞口起航，途中克服了重重困难，于次年10月驶入松花江、抵达哈尔滨，加上在当地用商船和警用巡逻艇改装的江平、江安、江通、利济4艘炮艇，共8艘炮艇组成了吉黑江防舰队。

虽然吉黑江防舰队直属北洋政府海军部，但在军阀混战的年代，海军部对这支舰队无暇顾及并长期欠饷，而张作霖趁机伸出援手，提供经费接济维持，因此舰队大部分官兵产生了改隶奉系军阀的念头。张作霖趁机以该舰队司令王崇文私通直系军阀吴佩孚和挪用公款等罪名将其撤职查办，改派亲信接任。1923年3月1日，吉黑江防司令公署改为吉黑江防司令办公处，归东三省保安司令部节制，正式被张作霖拢入袖中。

组建海防舰队

1923年7月，沈鸿烈向大连政纪轮船公司购买了1艘2700余吨的商船“祥利”号，将其改装成“镇海”号飞机母舰；1924年春,又向该公司购买了1艘2千余吨的商船改装成“威海”军舰；同年9月，第二次直奉战争爆发；11月，奉军入关，抵达天津，接收了大沽造船所，将1艘1100余吨的破冰船夺为己有，改装成“定海”炮舰。1925年秋，沈又购买了 1艘200余吨的日本鱼雷艇命名为“飞鹏”号，编入海防舰队，正式以营口为基地，组建了属于自己的海防舰队。

收编吞并渤海舰队

1924年11月，原本投靠孙中山广州革命政权的部分舰艇北上归顺直系军阀吴佩孚，抵达青岛后，这批舰艇被统一改编为“渤海舰队”，合计有巡洋舰3艘、炮舰 3艘、驱逐舰3艘、运输舰1艘等。第二次直奉战争时，吴佩孚全线崩溃，“狗肉将军”张宗昌率军占领山东全境，俘获了停泊在青岛港大部分舰艇。

为了让张宗昌将吃到嘴里的肉重新吐出来，张作霖与沈鸿烈合谋，先任命张宗昌为海军总司令，又沈鸿烈率领东北江海防舰队担任第一舰队司令（即原东北海军），渤海舰队为第二舰队（吴志馨任司令）。此后，沈鸿烈又推波助澜，挑拨离间，借张宗昌之手将吴志馨处决，然后乘机安插留日同学补缺，成功掌控了第二舰队（即渤海舰队）。随后，沈鸿烈以整顿为名，将150余名亲信官兵送上各舰要害位置，成功达到了其收编吞并渤海舰队，建立东北海军之目的。