1948年初夏，经过四纵队的第12旅与第三十八军的第17师在陕南的激烈斗争，终于为党的事业开辟出一片相对稳定的根据地。鉴于此情况，上级决定成立陕南军区，任命刘金轩担任司令员，陈先瑞则担任政治委员，两人分别是这两支部队的主要指挥官。

陈赓专门召见了陈先瑞，言语直接地开场道：“你肩负重大责任，不知道你是否能够承受得住！”他接着说，上级考虑让你担任军区政委，希望听听你的看法。如果你有不同意见，我们可以进行调整；如果没有，就请上报这个决定。

陈先瑞曾经担任过多个重要职务，尤其是在土地革命时期的红25军中，他担任过营教导员和团政委。在抗战的后期，他也曾负责军分区的指挥与政治工作。而与长年服役的经历相比，他在军事岗位的时间更为悠久。因此，他坦言自己对军事指挥并不畏惧，反而在政治工作方面经验不足，因而直接表达出不愿意担任政治工作，希望继续从事军事领导的愿望。

陈赓和谢富治对此感到十分为难。上级的初衷是将两支部队共同发展陕南的根据地，一支选择一位主官，刘金轩担任司令，陈先瑞则担任政委，这样的安排看似完美。然而，现在陈先瑞拒绝了政委的职务，表现出渴望从军的意愿，这是否意味着他希望调任司令呢？在作战情况与指挥能力的评估中，谁更出色自然优先考虑。刘金轩的第12旅战斗力强大，即便后来转入地方，也依然能够在中原野战军的主力下参与大规模的战斗。若不深入了解这支部队，恐怕会把它视作普通地方部队，但实际上情况并非如此。若陈先瑞被任命为司令，战斗能力将是否受到影响也成未知数，毕竟军区的作战主要依靠12旅，而刘金轩无论是在资历还是战功上都同样不可小觑。

谢富治直言不讳地说：“既然你不愿意担任政委，那我们就难以进行后续安排，你可以先好好考虑一下。”陈先瑞则表示，若组织上觉得难以安排，他愿意作为军事助手，而不是执意要当司令。这番表态让大家感到了一丝宽慰，陈赓随即提议让陈先瑞担任军区副司令，这样能够使他继续负责军事事务。

与此同时，陈赓决定对他进行一番安抚和心理建设，强调自己之所以只找他谈话，是因为考虑到军事转为政工，可能会激发他的情绪。“因为我们需要考虑到你的感受，所以特别邀请你来谈话。”尽管陈先瑞接受了副司令的角色，实际情况是当司令员外出参与大规模的战斗时，军区的军事工作将由他来承担。他的任务主要是配合地方政府开展根据地的建设，利用小规模武装力量剿灭土匪，帮助各级政府建立地方武装，并组织民兵和游击队。

1949年，在激烈的渡江战役中，陈赓司令计划将第12旅调回野战军，参与南下作战。这支部队最初属于四纵队，由于建立了地方根据地而转为地方化。可是若12旅撤出军区，胡宗南的军队力量依旧存在，想要牵制和消灭他们将变得极为困难，后方的安全局势也将堪忧，最终在反复权衡下，决定让12旅留在原地。

新中国成立后，陕南军区正式撤销，随之成立的陕西军区里，陈先瑞担任副司令等职务，继续为党的事业贡献力量。