陳獨秀把章瑜提出的方案告訴了岳王會的干部之後，原本就已經不怎么團結的岳王會上層立刻就陷入對立的局面。凡是已經面對現實，接受了岳王會根本沒有單獨推行革命能力的干部，都表示能夠接受章瑜的安排。依舊認為岳王會能夠東山再起的干部則是完全反對。即便這些強硬派知道人民黨官兵都要從事勞動。他們依舊固執的認為，自己與人民黨不同，身為干部就不該干些「低三下四」的工作。

爭論進行了大半天，包括常恆芳、范傳甲在內的干部都不能接受人民黨的作風，陳獨秀也無法說服岳王會的這些同志。以柏文蔚為代表的干部已經接受了現實，他們干脆拒絕與強硬派討論。會議不歡而散。

第二天，常恆芳等人找到陳獨秀，作為領表人物，常恆芳率先說道：「陳先生，我們准備離開安慶去湖北。」

雖然早知道這次沖突幾乎不可避免，陳獨秀也忍不住有些傷感。成立了將近兩年的岳王會終於走到了自己的末路。常恆芳等人離開之後，選擇留在安慶的都會加入人民黨的隊伍，岳王會的招牌再也不會有了。

「你們准備去投靠黃興先生？」陳獨秀問。

「投靠誰都比跟著人民黨強。」常恆芳幾乎是咬牙切齒的說道。這不僅僅是常恆芳的真實態度，其他岳王會的干部們也都是同樣的法。

「陳先生，你不和我們一起去么？」有岳王會的干部問。他們還是希望陳獨秀能和他們一起去湖北。

這是個很難回答的問題，陳獨秀覺得怎么都說不出拒絕的話來。從某種意義上說，這些選擇離開安慶的岳王會干部倒是堅持了岳王會的存在，陳獨秀這個創始人反倒是選擇了脫離岳王會。

「算了，人各有志。」常恆芳攔住了這些希望陳獨秀跟他們一起走的干部。

趁著這個時機，陳獨秀連忙說道：「去湖北需要盤查，咱們剩下的銀子，都給大家分了吧。」

上一次占據安慶的時候，岳王會從安慶的銀庫里頭繳獲的銀兩只剩了不到三千兩。這些好不容易留下的錢不僅僅是一筆錢，它也意味著岳王會曾經有過的頂峰時期。陳獨秀下令，所有不想離開安慶的岳王會成員，一人一兩，願意離開安慶的，把剩下的錢給平分了。最後有一百七十多人不願意離開安慶，剩下的兩百人選擇了離開。選擇離開的人有些是想去湖北，有些是選擇離開岳王會。不管是什么原因，陳獨秀都把錢分給了他們。雖然送錢並不雅致，不過在這最後，送錢卻是最實在的做法。

隨著岳王會繳獲自安慶銀庫的錢分發一空，這個曾經在中國一度名聲赫赫的組織徹底解散了。

常恆芳他們也不願意久留，安慶世面凋敝，連開個送行宴的酒店都找不到。而且這些人對人民黨實在是厭惡到了極點，既然決定離開，那是再也不想多見人民黨一眼。他們帶著行李坐上了過江的渡船，在江對岸集合之後，常恆芳才召開了一個簡單的會議。「人民黨既然沒有把咱們兄弟們放到眼里頭，咱們也沒有必要跟著人民黨丟人現眼，現在黃興和宋教仁先生回到了湖北，咱們不妨投奔他們去。」

這些人選擇離開安慶也未必是真的有什么長遠的目標，不少僅僅是為了擺脫現在呆滯停頓的狀態，又不肯加入人民黨，這才不得不選擇離開而已。聽常恆芳說要帶著他們到湖北，一想到遙遠的距離，這些人心中就感到很大的不安。他們都是大手大腳花錢花慣了的，十幾兩銀子著不少，其實根本就不夠花。靠這些銀子做盤纏或許能夠找到黃興與宋教仁，但是接下來又能如何？若是不能再弄到一大筆錢，日子照樣是極為難過的。

常恆芳得出這些人的想法，「富貴險中求，現在人民黨在安徽成了氣候，咱們若還是留在安徽，怎么都會被人民黨壓制。大家都知道人民黨的頭目大多數都不是本地人，咱們在湖北干起來，也未必比人民黨更差。」

即便是常恆芳極力勸說，依舊有一百多人選擇了回家，最後有七十多人選擇到湖北與黃興宋教仁匯合。其他人去各個方向的都有，而這七十多人的小隊伍頭也不回的向著西邊進發。

人民黨在江南的控制區本來就不很大，常恆芳先帶著眾人走了不到兩天就離開了人民黨的控制區。在休息的時候常恆芳對人員進行了整編。剩下的七十多人模仿工農革命軍的軍制，編成了一個連四個排的部隊。常恆芳任命自己為政治委員，任命范傳甲為連長。討厭人民黨是一碼事，學習人民黨又是另外一碼事。岳王會的部隊進行了整編，照貓畫虎的確立了「官兵一體，支部建在連隊上。」這兩項來自人民黨的組織模式。在政治上，岳王會的老宗旨既然不能用，也沒空臨時創造新的政治綱領，常恆芳就以「驅逐韃虜，恢復中華。」為現在的口號。