照金根据地丧失后，陕甘边的红军主力和最后撤离薛家寨的各部北上到合水一带。为解决战略方向和今后的行动方针问题，陕甘边特委、陕甘边工农民主政府、陕甘边红军总指挥部，于1933年11月3日至5日在合水县包家寨召开联席会议。会议总结了开展武装斗争和创造根据地的经验教训，讨论了部队改编、根据地重建等重大问题。会议根据刘志丹的建议，决定撤消陕甘边红军总指挥部，恢复中国工农红军第二十六军，尽快组建红二十六军第四十二师；组成3路游击总指挥部，第一路以安定为中心，第二路以南梁为中心，第三路以照金为中心；把陕甘边和陕北的游击战争作为一个全局来考虑，划分三个战略区，陕北为一个战略区，陕甘边及渭北为一个战略区，以南梁为中心的桥山山脉中段陕甘边各县为一个战略区；军事后方移至南梁，红二十六军从中策应，开辟南梁苏区，建立以南梁为中心的陕甘边区革命根据地。
　　1933年11月中旬，包家寨会议后，红四十二师党委抽出刘约三、吴岱峰等军事干部和少数人马，带领伤病员和后勤机关，押着在三十里铺抓获的两名神甫，到平定川一带，一方面照顾伤病员，一方面着手组建游击队，建立根据地。
　　陕甘边党委先后派习仲勋、张策等人到南梁地区开展工作。习仲勋、张策等，在南梁附近的二道川，进行创建南梁根据地的工作。经过调查研究，他们确定的工作步骤和方针是：先进行群众工作，建立革命武装，开展游击战争，再开辟根据地，建立工农政权。他们深入到白马庙川、玉皇庙川、荔园堡、小河沟一带，几乎走遍了南梁山区几道川的家家户户，紧紧依靠贫雇农，扎根串联，宣传革命真理，广泛发动群众，建立各种群众团体。帮助组建游击队、赤卫军，武装群众、打土豪、分粮食、分财物、发展党员、建立党的组织。
　　经过艰苦细致的工作，贫困农民认清了国民党政权和封建剥削的本质，激发起为改变命运而斗争的革命热情，积极性空前高涨。首先，在南梁金岔沟成立了第一个农民联合会，又在南梁小河沟的四合台村建立了南梁山区的第一个乡村苏维埃政权。接着，又在白马庙、玉皇庙、平定川、麻地台川一带成立了农民联合会、贫农团、雇农工会等群众组织。农民联合会是贫困农民自己的组织，属于半政权性质的群众团体，组织农民打土豪，分财产，开展土地革命斗争。成立了二将川、玉皇庙川、东华池、小河沟5个赤卫军大队，千余人。赤卫军是农民的军事组织，维持社会治安，协同农民联合会开展工作，配合红军游击队作战。用梭镖、大刀、猎枪和少量步枪武装自己，担负站岗、放哨、送信、监视土豪恶霸、转移伤病员、保护群众等任务，发展壮大南梁根据地。
　　在群众团体和群众武装发展的基础上，党的组织建设也积极又慎重地开展起来。1933年春季，在白马庙发展张志德、张钦贤、张志福、李元恒4名党员，建立了南梁地区第一个农村党支部——中共白马庙支部，张志德任支部书记，牛永清、武生荣、赫文明、贾生秀、白天章、边金山等一批优秀分子相继加入了中国共产党。这时，一度处于涣散状态的中共陕甘边特委，也在南梁得到恢复，张秀山担任特委书记。
　　红军的发展和南梁根据地的建立，引起敌人的极度恐慌。12月初，西安绥靖公署调集驻保安、合水、庆阳等地的正规军4个营及地方民团5千余人，分9路向南梁根据地发动“围剿”。
　　红四十二师党委在林锦庙的梁沟门召开会议，讨论军事斗争和南梁根据地的建设等问题。会议决定成立第二路游击队总指挥部，由杨琪任总指挥，高岗任政委，建立庆阳、安塞、保安、合水四县游击队，坚持南梁根据地斗争，发展壮大武装力量；同时，决定成立南梁后方工作委员会，吴岱峰任主任，并任命张策为红四十二师后方特派员，领导和开展南梁根据地的群众工作；四十二师转移外线作战，南下到三路游击区。以第二路游击队打击进入南梁根据地之敌，坚持内线斗争。
　　第二路游击队，在杨琪、张策、吴岱峰等人率领下沿葫芦川转入平定川老杨村、豹子川王街村一带，将伤病员安置在农户家里。在这里设立了修械所、医疗所。然后分头发动群众，坚壁清野，准备迎击来犯南梁的敌人。
　　12月初，“围剿”南梁根据地的敌人开始行动。王泰吉、刘志丹南下途中，消灭了固城民团、王郎坡民团、南邑堡民团等，并在正宁、旬邑一带扩大武装力量。
　　同时，红四十二师在淳化、耀县、旬邑、正宁地区转入群众工作和帮助三路游击队进行建设，鼓舞了渭北群众的革命斗争。三路游击队总指挥部遂于1934年2月成立，总指挥王安民，政委张仲良。下辖直属特务队、正宁四支队(平子游击队改编而成，队长刘玉才，指导员胡秉坤)、正宁五支队(高凤坡战斗中失散的红二十六军10多名正宁籍战士为骨干所组建而成，队长张占英)、正宁八支队(队长刘富奎，指导员赵德荣)、正宁十六支队(回民游击队，队长王世平，指导员王世英)、宁县三支队(队长王德宽，指导员李士新)、宁县一支队(队长杨德明)及淳耀、中宜、富甘、旬邑等游击队。
　　梁沟门会议后，红军主力部队中抽调出张振东、王英、杨丕胜、张志孝、强家珍等10人和8支枪，作为建立后方游击队的骨干和基础。11月下旬，在豹子川王街子成立庆阳、合水、保安游击队，不久又成立了安塞游击队。庆阳游击队，杨丕胜任队长，张克孝任政委；合水游击队，张振东任队长，孙第国任政委；保安游击队，刘约三任队长，王英任政委；安塞游击队，王志昌任队长，王士贵任政委。同时，成立后方委员会特务班，负责看押抓来的土豪，护理伤病员。
　　二路游击队指挥部领导庆阳、合水、保安、安塞、庆北、定边、华池、环县等游击队和保卫队，时而分散活动，时而集中作战，同这些地区的民团展开了斗争，并在斗争中发展壮大，先后拔除了华池、林锦庙、刘坪堡、阎家洼子、南梁堡、王洼子、义正川高台寨子等敌据点，缴枪270余支，南梁中心区域的反动民团，被扫荡无遗。继庆阳、合水游击队建立之后，南梁、庆北地区还相继组建了庆北、华池、定边、庆华、环县、柔远、温台等游击队。敌仇良民团一个营，孤军进到二道川，如掉进迷雾，情报皆断。粮食供应不上，常遭游击队的袭击，饥恐交加，处于进退两难之地。
　　这时国民党第十九路军将领蒋光鼐、蔡廷锴联合李济深等反蒋势力，在福建成立了抗日反蒋人民政府的消息传来，敌人撤离了南梁，其余各路也停止向根据地的进攻。
　　1934年1月8月，红四十二师又回到南梁的连家砭一带。
　　自从红军回到南梁地区以后，群众武装广泛开展起来，地方游击队得到充分发展。到1934年2月间，以南梁为中心的陕甘边红色区域迅速扩大到包括保安、安塞、甘泉、富县、庆阳、合水、宁县、正宁、旬邑、淳化、耀县、铜川、宜君和黄陵等14个县的部分地区。
　　根据这种大好的革命形势，陕甘边特委决定立即成立陕甘边革命委员会，统一领导根据地的政权建设，领导群众开展文化教育、集市贸易，发展生产，把南梁根据地建成巩固的后方。
　　1934年2月25日，陕甘边特委、红四十二师党委在南梁小河沟四合台村马大爷家的院子里，由习仲勋、张策主持召开工农兵代表大会，选举成立陕甘边区革命委员会，作为根据地的最高临时政权机关。革命委员会下设土地、劳动、财政、粮食、肃反、军事、文化等委员会。革命委员会的人员组成是：主席习仲勋、副主席白天章(后为贾生秀)，土地委员张步清，劳动委员牛永清，财政委员武生秀，粮食委员呼志禄，肃反委员贾生秀兼任，军事委员边金山，政治秘书长蔡子伟。同时组建了政治保卫大队，大队长郭锡山，负责保卫革命委员会的安全工作。中国工农红军陕甘边军政干部学校也正式成立了。
　　与此同时，惠子俊、强家珍、张秀山、马仰西等率领游击队到庆北(今华池县城壕、悦乐、柔远一带)一带活动，组织了3个农民联合会和10多个分会。建立了杜家河、武家河、城壕3个党支部，发展党员40多人，形成陕甘边根据地的西区。还相继建立了庆北、华池、定边、庆华、环县、柔远、温台等游击队。
　　至此，以南梁为中心的陕甘边革命根据地正式形成。这是毛泽东同志红色政权理论在西北的实践，也是以刘志丹为代表的师党委、陕甘边特委正确军事路线的胜利。革命委员会的成立，游击队的发展壮大，赤卫军的普遍建立，使南梁根据地不断得到巩固，成为陕甘边区坚强的红色堡垒。