一九二一年底，孫中山返回廣州重建〖革〗命政權，並在桂林發起北伐，在建立大本營的同時，設置了「贊襄聯合作戰，並任大本營與各省各軍之聯結」的軍事委員會。該會與幕僚處、兵站處並列。直轄於大元帥。此時的軍事委員會職權范圍相當廣泛，主要負責「建設國軍及國防事項」、「作戰事項」、「軍事統一及各省聯防事項」等。以上可視為後來國民政府軍事委員會的雛形。

一九二二年八月，由於陳炯明叛亂，孫中山避居上海。

不久決定改進黨務，制定了新的國民黨黨章，其中第二章規定：「在〖中〗央本部設置軍事委員會，調查國內外之軍制，並研究國內軍制改革計劃…」。翌年二月，孫中山先後任命柏文蔚、呂超、黃大作、蔣介石等十三人為國民黨本部軍事委員。該機構的設置是國民黨針對軍事改革的舉措，表明了孫中山徹底改造舊軍事制度的決心。

一九二四年一月，國民黨召開第一次全國代表大會，實現了國共合作。為了統一軍事，孫中山參照蘇聯軍制成規，於是年七月十一日正式成立國民黨〖中〗央軍事委員會，作為黨的最高軍事決策機關，負責各軍的改組工作，依照組織程序，軍事委員會委員由國民黨〖中〗央政治會議委派，他們是：許崇智、楊希閱、劉震寰、譚延田、樊鍾秀、胡漢民、

廖仲愷、蔣介石、伍朝樞等九人，俄人高和羅夫為顧問。由於當時廣州〖革〗命政府的軍事、財政大權由滇、桂軍閥所把持，軍事委員會的工作無法開展，不過其所推行的政治訓練的方針已隨著黃埔軍校的開辦，而向其他各軍開展。同年十一月，孫中山應邀北上，廣州大元帥府失去重心。為了適應斗爭的需要，在蘇聯顧問的倡議下，改組了軍事委員會，委員由汪精衛、許崇智、廖仲愷、胡漢民、譚延田、蔣介石、加侖和伍朝樞擔任，實行集體領導，直屬國民黨〖中〗央執行委員會。

一九二五年春第一次東征勝利，滇、桂叛軍敉平。五月三十日，國民黨〖中〗央執行委員會通過「整頓軍隊案」全面進行軍隊之整理。

六月二十四日，再通過「政府改組決議案」決定建立國民政府，設置軍事委員會。七月一日，軍事委員會在廣州成立，根據《軍事委員會組織法》，軍事委員會受〖中〗國國民黨之指導及監督管理，統率國民政府所轄境內海、陸軍、航空隊及一切關於軍事各機關，研究決定關於國防計劃、實施軍事動員、軍制改革、高級軍官及同級官佐任免、陸海軍移防、預算、決算、高級軍事裁判等及其他與國民政府之政策有關事項。委員由汪精衛、胡漢民、伍朝樞、廖仲愷（同年八月二十日被刺身死）、朱培德、譚延回、許崇智、蔣介石擔任，汪精衛兼任〖主〗席。軍事委員會下設政治訓練部、參謀團、軍需局、海軍局、航空局、兵工廠、

秘書廳等。

軍事委員會實行合議制集體領導，各委員分掌軍事委員會內各重要機關，其決議文件由〖主〗席署名，以軍委會名義用命令方式發表：其關於政治訓練、軍需事宜，除〖主〗席署名外，須有該管機關長官副署方能生效：關於國防計劃…實施、軍事動員、軍制改革、高級軍官及其同級官佐任免、陸海軍移防、預算、決算及高等軍事裁判等，暨其他與國民黨政府之政策有關的事項，其文告及命令都由軍委會〖主〗席和軍事部長署名行之。同時規定，凡軍委會決議，須經出席委員三分之二通過方為有效：如多數委員不在軍委會所在地時，〖主〗席與委員一人有決定處置之權。組織法中以上內容和軍委會人員的組成體現了集體領導、以黨治軍的原則。

一九二六年三月二十日蔣介石制造「中山艦事件」事件後汪精衛請病假他去。四月十六日，蔣介石任軍事委員會〖主〗席。六月初，為准備進行北伐，特別設置國民〖革〗命軍總司令部，並任命蔣介石為總司令，規定總司令部設於軍事委員會內，總司令兼軍事委員會〖主〗席，原屬於軍事委員會的政治訓練部。參謀部、軍需部、海軍局、航空局、兵工廠等機關均直屬於總司令部。由此，軍委會的機關、權力轉移到國民〖革〗命軍總司令部之下，軍事委員會的集體領導轉移到蔣介石一人之手。隨著北伐戰爭的勝利進軍，蔣介石的政治野心愈發膨脹，其獨裁手段也越來越明顯。為遏制蔣介石的獨裁行為，〖中〗國國民黨於一九二七年三月在武漢召開了第二屆三中全會，會上重訂軍事委員會組織大綱，決定廢止《國民〖革〗命軍總司令部組織條例》。在國民黨〖中〗央執行委員會下設軍事委員會作為國民黨最高軍事行政機關：軍事委員會不設〖主〗席，而由〖主〗席團執行國民黨〖中〗央執行委員會關於軍事之決議及軍事委員會之決議，並處理日常事務：軍事委員會有管理全國海、陸、空兵力及軍事制造機關之權。軍隊的擴充由軍事委員會規劃…和管理，但軍事委員會的預算、決算須提出報告於〖中〗央執行委員會其重要決議，經〖中〗央執行委員會通過才發生效力：向外國購買軍事機器材料，須經〖中〗央執行委員會通過。軍事委員會委員由〖中〗央執行委員會在最高級軍官中選出委員九至十三人，並在不任軍職之〖中〗央執行委員及統補〖中〗央執行委員中選出委員六人，並指定〖主〗席團成員，〖主〗席團中須有3人為不任軍職的委員。軍事委員會由十六人組成：唐生智、蔣介石、馮玉祥、譚延田、程潛、李宗仁、何應欽、李濟深、朱培德、張發奎、汪精衛、孫科、顧孟余、宋子文、鄧演達、徐謙。〖主〗席團成員為：汪精衛、譚延回、蔣介石、唐生智、程潛、鄧演達、徐謙。國民〖革〗命軍總司令為軍事委員會委員之一，由〖中〗央執行委員會指定，國民政府特任對〖中〗央執行委員會負責。原定戰爭時期總司令的各項特權取消，改為總司令在作戰地及警戒地有宣布戒嚴令之權，並得指揮前方之軍民財政各機關。出征動員令由軍事委員會議決〖中〗央執行委員會通過，總司令執行。軍長及其以上軍官由〖中〗央執行委員會任命：師長及其以下軍官由軍事委員會任命。軍事委員會下設總政治部、參謀處、軍事制造處、海軍處、陸軍處、航空處、軍事經理處、

軍事審計處、秘書處和軍事教育管理處及軍事裁判所。四月十二日，蔣介石發動反〖革〗命政變，南京國民黨〖中〗央執行委員會政治會議第七十九次會議，決定參照舊制設立軍事委員會，並於五月二日公布組織大綱。

該大綱推翻了國民黨二屆三中全會通過的軍事委員會組織大綱。此後，鑒於馮玉祥的國民軍和閻錫山的軍隊相繼參加北伐，同時也為了與武漢政府爭奪這兩股力量六月二十七日，南京國民黨〖中〗央執行委員會政治會議在軍事委員會組織大綱中追加了「戰時最高軍事長官如國民〖革〗命軍總司令、西北國民〖革〗命軍總司令、國民〖革〗命軍北方總司令均得出席於〖中〗央軍事委員會常務會議」的條文。同時，軍事委員會所設機構也作了變動，設總務廳、參謀廳、軍務廳、軍事教育廳、海軍處、航空處、經理處、政治訓練處等機關。七月六日和八月六日，南京國民政府先後特任胡漢民等五十二人為軍事委員會委員，推定胡漢民、何應欽、李鳴鍾、閻錫山、楊樹庄、李宗仁、李濟深為常務委員。胡漢民是實際上的軍事委員會〖主〗席。八月十三日蔣介石下野。九月十一日至十三日，國民黨寧、漢、滬（西山會議派）三方在上海召開會議，組成國民黨〖中〗央特別委員會。九月十七日，公布《修正國民政府軍事委員會組織大綱》，廢〖主〗席制而改行〖主〗席團制，由國民政府從軍事委員會中指定若干人為〖主〗席團委員會之會議均由〖主〗席團召集：〖主〗席團內設常務委員，由軍事委員會所在地之〖主〗席團委員中推定七人擔任，負責處理緊急重大事件並推定其中一人處理尋常事件（任期三月卜執行委員會之決議案及用委員會名義發布命令，由〖主〗席團常務委員署名。〖中〗央特別委員會於九月十七日、十月三日、十二月七日先後推於右任等七十四人為軍事委員會委員。這時的軍事委員會的委員幾乎襄括了國民黨所有的軍政機關和軍以上的主要高級官員以示對其拉攏和羈縻。同時由白崇禧、朱培德、李宗仁、李濟深、汪精衛、何應欽、胡漢民、唐生智、馮玉祥、程潛、楊樹庄、蔣介石、閻錫山、譚延回組成〖主〗席團，內以李宗仁、李濟深、李鳴鍾、何應欽、楊樹庄、閻錫山、胡漢民為〖主〗席團常務委員。軍事委員會的活動除繼續與北洋軍作戰外，寧漢戰爭期間，組織軍隊西征武漢。

不久寧粵對立，又南討張發奎。