1932年12月中旬，红军陕甘游击队南下到达陕西淳化县境内时，陕西省委指示陕甘游击队开赴宜君休整待命，准备改编为红二十六军。1932年12月19日，红军陕甘游击队转移到宜君县的杨家店子（今属旬邑）集结。1932年12月24日，陕甘游击队在宜君县转角镇举行改编授旗仪式，正式改编为中国工农红军第二十六军第二团，军政治委员杜衡兼团政治委员，王世泰任团长，郑毅任参谋长，刘志丹任政治处处长，杨重远任参谋处处长，刘约三任经理处处长，杨琪任管理处处长，史克寿任共青团红二十六军委员会书记。红二团下辖骑兵连、步兵连和少年先锋队，共200余人。红二十六军成立后，按照中共中央的指示，确定以耀县照金为中心建立根据地，中共双龙支部干事会在中共陕甘边特委的领导下积极开展武装斗争。1933年4月7日，中共陕西省委根据陕甘边区游击队迅速发展的形势，向红二十六军发出指示：“应即成立一指挥部，指挥边区耀县、宜君、中部一带的游击队，积极开展游击战争。”正当红二十六军和陕甘边革命委员会领导照金苏区人民深入开展土地革命斗争之际，杜衡却继续顽固地推行“左”倾错误方针，使根据地的建设又陷入了严重危机。为了最大限度地孤立敌人，争取中间力量，壮大革命队伍，在红军力量比较薄弱的情况下，红军与某些民团建立了暂时的统战关系。由于建立了暂时的统战关系，中部县建庄何世兴民团、小石崖罗连成民团等，都和红军关系友好，他们为红军掩护伤兵，代购弹药物资等，对红军帮助很大。1933年秋，形成了以照金为中心，横跨耀县、淳化、旬邑、中部、宜君等县的根据地。
　　小石崖苏区位于中部、富县、宜君三县接壤地区，中部县西北方向神仙沟河与沮河交汇处。北至富县张村驿、羊泉原、槐树庄；南伸桥山南窑科、建庄川；东越洛河畔；西落子午岭。总面积1万平方公里，人口约4万。先与照金苏区相连，后与南梁苏区衔接。
　　1930年9月，刘志丹在保安县永宁山中共支部的支持帮助下，搞到了10余支枪，集结了原部20余人，借陇东民团骑兵第六营的名义，到甘肃省合水县太白镇以商借粮草为名，机智勇敢地进行了有名的太白收枪行动，重建了队伍。随后，刘志丹带领这支革命武装，在南梁地区开展游击战争，几个月内武装力量发展到四五百人。国民党政府极为惊慌，急忙派延安高双成部陇东地方军阀张廷芝、陈珪璋部谭世麟进行“围剿”，妄图一举扼杀刘志丹领导的部队。1931年正月，刘志丹队伍不幸在宁县盘克塬一带被陈珪璋部的谢绍安旅包围打散，仅剩百余人，突围转移到中部县老卢堡一带。由于天气寒冷又下着大雪，人无粮，马无草，处境非常困难。刘志丹决定：派游击队党支部书记杨树荣去陕西省委汇报。4月，根据中共陕西省委的指示，刘志丹率部编入国民党驻彬县的苏雨生部，任补充团团长。刘志丹在以补充团名义扩充部队、筹措军需时，引起苏雨生的注意，被苏雨生逮捕。后经在国民党陕西省政府任职的共产党员南汉宸、民主人士杜斌丞和中共陕西省委的多方营救获释。刘志丹出狱后，以陈珪璋部第十一旅旅长的名义继续从事兵运工作。1931年9月，刘志丹、贾生财到中部小石崖罗连成民团商谈并做其工作。
　　小石崖地处偏僻，山峦起伏，沟深林密，地势险要，驻国民党罗连成地方民团20余人。刘志丹队伍进入到罗连成民团驻地附近时，部队中一些人主张把民团消灭掉，占领此地。刘志丹分析了罗连成的处境，认为罗连成受国民党地方部队的排挤和限制，有不满情绪，在反对蒋介石方面，与我们有共同点，是同盟者，应避其锋芒，因势利导，利用联合，而不应该消灭。但那些土匪军队如不彻底改造很难永久联合下去，应静观其变，相机处置。现在是民主革命阶段，必须联合一切可以联合的力量，反对当前主要的敌人，促进革命事业向前发展。至于今后怎么办，那就是他们什么时候走向革命的反面，什么时候就消灭他们。刘志丹还运用列宁“哪怕是暂时的同路人，也应该联合”的一句话，向部队说明联合的重要性。于是，刘志丹决定亲自去找罗连成进行谈判。为防止意外，他随身带了四五名精悍游击队员，让部队隐蔽于河滩，准备接应。
　　罗连成听了刘志丹的来意，得知并不是想与其争占地盘“吃掉”他，很快就放下心来。又经过刘志丹分析利弊得失，反复劝说，前后对比，罗连成思想很快转变，当即与游击队正式建立“你不打我，我不反你”的友邻关系。当夜，罗连成民团就给游击队送来食物、枪支、弹药。第二天，又派人同游击队一起去盘克塬打扫战场，掩埋了在战斗中牺牲的游击队员。刘志丹的正确决策，为陕甘游击队提供了宝贵的立足之地和休养场所。此后，红军游击队可以在小石崖民团处买到武器弹药，红军伤病员在其他地方不安全，就转移到此地休养，得到治疗和恢复。1932年8月谢子长率领红军陕甘游击队再次到双龙、小石崖一带活动。1933年至1934年，红二十六军第二团、红四十二师骑兵团曾几次来小石崖休整、练兵。红军还把从外地抓获的反动土豪劣绅关押在这里，对他们进行劳动教育改造，分配给红军输送给养物资。1934年，小石崖成为中共南区党委、南区革命委员会驻地。