1925年7月3日，中华民国政府军事委员会在广州成立，为国民政府最高军事统御机关。军事委员会以汪精卫、胡汉民、许崇智、谭延闿、廖仲恺、朱培德、伍朝枢、蒋介石8人为委员，军事委员会主席由国民政府主席汪精卫兼任。

7月5日，国民政府公布《中华民国国民政府军事委员会组织法》，规定国民政府军事委员会受中国国民党之指导及监督管理，统率国民政府所辖境内之海军、陆军和航空队及一切关于军事之机关；军事委员会中1人由国民政府特任为国民政府军事部长；军事委员会设政治训练部、参谋团、海军局、航空局、军需局、秘书厅、兵工厂等分掌事务。《组织法》规定，军事委员会以委员若干人组成，推举其中1人为主席；委员会内各重要机关由委员分负直接监督之责；军事委员会决议文件由主席签名，以军事委员会名义用命令方式发表；关于政治训练、军需事宜，除主席签名外，还须有该机关长官副署方能生效；关于国防计划实施、军事动员、军制改革、高级军官及其同级官佐任免、陆海军移防、预算决算及高等军事裁判和其他与国民政府政策有关事项，其文告及命令都由军委会主席和军事部长署名行之。同时规定，凡军事委员会决议事项，须经出席委员三分之二通过方为有效，如多数委员不在军事委员会所在地时，主席与委员1人有决定处置之权。

军事委员会发轫于孙中山领导的护法战争时期。1917年6月，孙中山先生在广州发起护法战争，以大元帅名义执掌军政府最高军事指挥权。9月，孙中山除下令组织参谋处和参军处作为主要的军事幕僚机构外，又先后任命朱本富、彭养光等64人为军政府的军事委员，负责为护法军事拟订作战计划。

翌年5月，军政府被滇、桂军阀改组，实行合议制，乃明令设置军事委员会，由各省军长官所派之军事代表组成，其职权为：

“建议军事上之计划及备政府之咨询，但关于各军之特别事宜，得由该军单独建议”

。以李烈钧为委员长，邓铿、钮永建、李书城、林虎等26人为委员，由于南方政府军队派系复杂，各自行令，军事委员会所谓的“建议”、“咨询”等职权成为纸上空文。1921年底，孙中山再度返回广州重建革命政府，并在桂林发起北伐，在建立大本营的同时，设置了“赞襄联合作战，并任大本营与各省各军之联结”的军事委员会，与幕僚处、兵站处等并列，直辖于大元帅，军事委员会的职权主要是：“建设国军及国防事项”、“作战事项”、“军事统一及各省联防事项”等，以其执掌上看，可作为未来军事委员会的雏形。

1922年8月，由于陈炯明叛乱，孙中山避居于上海，不久决定改进党务，制订了新的国民党党章，其中第二章规定：

“在中央本部设置军事委员会，调查国内外之军制，并研究国内军制改革计划”

。翌年2月，孙中山任命柏文蔚、吕超、黄大作、蒋介石等13人为国民党本部军事委员。这个机构的设置是国民党史上第一次针对军事改革的设计，它表明孙中山认真吸取了依赖军阀而不断失败的教训，决心借鉴国内外成功的经验，彻底改造中国旧的军事制度的精神之意向。

国民党第一次全国代表大会之后，随着革命形势的开展，统一军队势在必行。孙中山先生参照苏联军制成规，于1924年7月1日正式成立国民党中央军事委员会，作为国民党最高军事机关，负责各军的改组工作，只因当时滇、桂军阀把持革命政府的武力与财政，军事委员会的工作无法开展，不过所推行的政治训练方针等，随着黄埔军校的开办，亦渐渐灌输于各军之中。

1925年春，第一次东征胜利，滇、桂叛军被敉平，巩固了革命政权。5月30日，国民党中央执行委员会通过“整饬军队案”，全面进行军队之整理。6月24日，再通过“政府改组决议案”，决定建立国民政府，同时设置军事委员会。1925年9月5日，中华民国国民政府和军事委员会任命军事委员会所辖各机关负责人：政治训练部主任陈公博，参谋团主任罗加觉夫（苏联人）、副主任岳森，总务厅厅长黄实，军务厅厅长冯祝万，步兵监冯宝森，炮兵监邓演成，工兵监陈翰誉，交通监特拉特脱治（苏联人），军医监朱奉藻，秘书厅厅长朱和中，海军局局长斯米诺夫（苏联人），航空局局长李糜（苏联人），军需局局长关道，兵工厂厂长邓仕章。

军事委员会初建，内部很不稳定。8月20日，廖仲恺遇刺身亡，胡汉民因受牵连出走；9月20日，许崇智因病辞职赴沪。军需局局长关道被免职，任命范其务接任。

随着广东革命根据地的巩固，为适应新的形势，1926年1月上旬，军事委员会成立常务委员会，以汪精卫、谭延闿、蒋介石为常务委员。2月1日，国民党中央执行委员会任命汪精卫为国民革命军总党代表兼各军党代表，并特任蒋介石为国民革命军总监。

为进一步控制军队，蒋介石力主改组参谋团。2月28日蒋征得汪精卫同意，撤换了苏联顾问。3月1日，军事委员会参谋团改组为参谋部，李济深任部长。还成立了军事委员会军需部，3月8日，任命朱培德为军需部部长。以李之龙代海军局局长，“三·二〇”中山舰事件中，李遭逮捕，由欧阳格任海军局代局长，旋改由潘文治代理局长。张静愚任航空局局长。军事委员会各机构内苏联顾问均被解职。

此后，汪精卫辞职赴欧。苏联顾问罗加觉夫、季山嘉等数十人也解聘回国。4月16日，国民党中央和国民政府举行联席会议，推谭延闿为国民政府主席，蒋介石为军事委员会主席。

6月5日，国民政府任命蒋介石为国民革命军总司令。总司令部设在军事委员会内，军事委员会原辖工作机构遂移于总司令部，只保留秘书厅办理军事委员会会议文件、会议记录事宜，厅长一职则以总司令部秘书处处长兼充，不另委人。原厅长朱和中调任兵工厂党代表，原秘书厅秘书周雍能升任厅长，不久，周亦被解职。

军事委员会成立后的几个月中，蒋介石排挤了汪精卫，掌握了大权，同时推行军队统一，编组国民革命军，统一两广，筹备北伐。