9月17日，滕代遠以中共湖南省委特派員的身份，在銅鼓幽居主持召開了紅五軍黨組織負責(zé)人與平（江）、瀏（陽）、修（水）、銅（鼓）四縣黨組織負責(zé)人聯(lián)席會議，正式組建了中共湘鄂贛邊界特委。滕代遠任書記，彭德懷、王首道、李宗白、邱訓(xùn)民等為常委。特委的成立，標(biāo)志著湘鄂贛邊界的斗爭進入一個新的階段。此后，邊界各縣的黨組織也逐步地建立和健全起來。

    會議對平江起義以來的經(jīng)驗教訓(xùn)進行了總結(jié)，研究了紅五軍的去向問題。大橋受挫后，紅五軍面臨的局勢是十分嚴(yán)峻和危險的，敵人調(diào)集大軍，步步追逼，部隊內(nèi)部又因傷亡和少數(shù)舊軍官、士兵叛逃而嚴(yán)重減員，同時，給養(yǎng)也很困難。在這種形勢下，紅五軍往哪里去？這是一個必須作出答復(fù)的大問題。是繼續(xù)留在湘鄂贛邊境單獨作戰(zhàn)呢，還是上井岡山與朱毛紅軍會合？會議經(jīng)過認(rèn)真討論，認(rèn)為革命正處于低潮，留駐湘鄂贛邊境于我不利，平江、瀏陽、修水、銅鼓一帶的“會剿”敵軍隨時都在十團之眾，加上各地反動地方武裝，其兵力大大超過我十余倍，如繼續(xù)在此地孤軍奮戰(zhàn)，極易被敵人各個擊破；而到井岡山與紅四軍會合，則能有效地保存力量，相機對付敵人，共同促進革命形勢的轉(zhuǎn)變與到來。幽居會議的這一決定，對以后紅五軍挺進井岡山的行動起了關(guān)鍵性的作用。

    幽居會議后，部隊即在平、瀏、銅邊界的紙坊進行了整編，取消了團的建制，軍直轄5個大隊：一大隊長雷振輝，二大隊長黃公略，三大隊長賀國中，四大隊長李玉華，五大隊長李燦，原四團團長陳鵬飛改任軍部高級參議。全軍不足一千人。

    隊伍縮編后，以修水臺莊為中心，開展了游擊戰(zhàn)爭。但是，由于敵軍的窮追，部隊“幾乎每天都要與國民黨正規(guī)軍和地主武裝奮戰(zhàn)數(shù)次方能前進，有時最多的一天打過八次仗”。就在這樣危急的形勢下，四大隊長李玉華與一大隊長雷振輝狼狽為奸，在部隊轉(zhuǎn)移到平江北鄉(xiāng)六坪時，圖謀叛逃。一天，雷振輝乘彭德懷訓(xùn)話之機，舉起手槍對著彭德懷的腦袋，幸被彭身邊的一位勇士扳倒，處決了雷振輝，彭德懷仍然面不改色，從容訓(xùn)話。

    10月，紅五軍黨委與湘鄂贛邊界特委在修水臺莊召集平、瀏、修、銅、武（寧）五縣黨組織負責(zé)人召開聯(lián)席會議，將五軍與各地地方武裝合編，仍稱紅五軍，下轄三個縱隊十個大隊。一縱隊轄三個大隊，縱隊長李燦；二縱隊轄兩個大隊，縱隊長黃公略；三縱隊轄四個大隊，縱隊長賀國中；另軍部直轄一個大隊。同時，對五軍的黨組織進一步作了調(diào)整，將師（黨）委改為軍（黨）委，下設(shè)支部和分支部（設(shè)在大隊）。至此，紅五軍對部隊的思想和組織整頓得到落實，從而，朝著井岡山這盞“明燈”，采取飄忽不定的游擊戰(zhàn)術(shù)，勝利地前進了。