9月17日，滕代遠以中共湖南省委特派員的身份，在銅鼓幽居主持召開了紅五軍黨組織負責人與平（江）、瀏（陽）、修（水）、銅（鼓）四縣黨組織負責人聯席會議，正式組建了中共湘鄂贛邊界特委。滕代遠任書記，彭德懷、王首道、李宗白、邱訓民等為常委。特委的成立，標志著湘鄂贛邊界的斗爭進入一個新的階段。此后，邊界各縣的黨組織也逐步地建立和健全起來。

    會議對平江起義以來的經驗教訓進行了總結，研究了紅五軍的去向問題。大橋受挫后，紅五軍面臨的局勢是十分嚴峻和危險的，敵人調集大軍，步步追逼，部隊內部又因傷亡和少數舊軍官、士兵叛逃而嚴重減員，同時，給養也很困難。在這種形勢下，紅五軍往哪里去？這是一個必須作出答復的大問題。是繼續留在湘鄂贛邊境單獨作戰呢，還是上井岡山與朱毛紅軍會合？會議經過認真討論，認為革命正處于低潮，留駐湘鄂贛邊境于我不利，平江、瀏陽、修水、銅鼓一帶的“會剿”敵軍隨時都在十團之眾，加上各地反動地方武裝，其兵力大大超過我十余倍，如繼續在此地孤軍奮戰，極易被敵人各個擊破；而到井岡山與紅四軍會合，則能有效地保存力量，相機對付敵人，共同促進革命形勢的轉變與到來。幽居會議的這一決定，對以后紅五軍挺進井岡山的行動起了關鍵性的作用。

    幽居會議后，部隊即在平、瀏、銅邊界的紙坊進行了整編，取消了團的建制，軍直轄5個大隊：一大隊長雷振輝，二大隊長黃公略，三大隊長賀國中，四大隊長李玉華，五大隊長李燦，原四團團長陳鵬飛改任軍部高級參議。全軍不足一千人。

    隊伍縮編后，以修水臺莊為中心，開展了游擊戰爭。但是，由于敵軍的窮追，部隊“幾乎每天都要與國民黨正規軍和地主武裝奮戰數次方能前進，有時最多的一天打過八次仗”。就在這樣危急的形勢下，四大隊長李玉華與一大隊長雷振輝狼狽為奸，在部隊轉移到平江北鄉六坪時，圖謀叛逃。一天，雷振輝乘彭德懷訓話之機，舉起手槍對著彭德懷的腦袋，幸被彭身邊的一位勇士扳倒，處決了雷振輝，彭德懷仍然面不改色，從容訓話。

    10月，紅五軍黨委與湘鄂贛邊界特委在修水臺莊召集平、瀏、修、銅、武（寧）五縣黨組織負責人召開聯席會議，將五軍與各地地方武裝合編，仍稱紅五軍，下轄三個縱隊十個大隊。一縱隊轄三個大隊，縱隊長李燦；二縱隊轄兩個大隊，縱隊長黃公略；三縱隊轄四個大隊，縱隊長賀國中；另軍部直轄一個大隊。同時，對五軍的黨組織進一步作了調整，將師（黨）委改為軍（黨）委，下設支部和分支部（設在大隊）。至此，紅五軍對部隊的思想和組織整頓得到落實，從而，朝著井岡山這盞“明燈”，采取飄忽不定的游擊戰術，勝利地前進了。