1982年，廖汉生在担任沈阳军区第一政委后被免职，随后被调往北京休养。对此，他早在两年前就已经有所心理准备。1980年，当上级将他从南京军区调往沈阳军区时，曾认为在沈阳工作两年后应该退下来，或许留在南京军区就更为妥当。他也考虑过如果情况不理想，离职也未尝不可。然而，上级并未同意他的提议，他最终依然服从了命令，继续履行自己的职责。

1982年，他与另外九位军区司令及八位政委一同被免，这使得这些职位被更年轻的领导者所接替。在他卸任之前，上级曾考虑任命他为军事学院院长或在总政部担任其他职务，但他都婉拒了这些提议。回顾1957年，他曾担任南京军区学院的院长，三年后调离，对再次担任院长持有怀疑，认为自己未必能超越当年的表现。而对于总政部的职务，他也大概只会被安排为副主任，似乎并不具有吸引力。

在1982年时，尽管尚未召开党的十二大，也没有新一届军委领导班子成员的正式选举，但总政部主任人选早已有所决定。开始时，上级安排陈丕显出任总政主任，余秋里担任政法委书记。然而，余秋里考虑到自身的情况，希望能回归军队，最终两人的职务进行了一番调整。是否因为余秋里被提拔为总政主任，廖汉生才不愿意接受这个职务呢？

实际上，余秋里在战争时期长期在廖汉生的领导下工作。尽管余秋里出身于红六军团，但在二军团与六军团会师后，他被调至二军团第六师，担任团政委以加强政治工作，彼时廖汉生正是第六师的政委。在解放战争年代，廖汉生担任西北野战军第一纵队的政委，而余秋里则是下辖旅的政委和军副政委。新中国成立后，余秋里在多个领域表现出色，早早被提拔为总财务部部长和总后勤部政委，甚至比廖汉生在大军区的任职还要早。

到1958年，余秋里转向石油部，参与解决我国的用油问题，并成为地方与军队学习的标杆。经过六十年代中后期的努力，他被安排负责国务院的经济工作，1975年，他被任命为副总理。而与此同时，廖汉生依然担任南京军区的政委，此时两人的职务已大相径庭。

1982年，军委换届的消息不胫而走，领导班子的成员名单也早已在酝酿之中。身为大军区中的一员，廖汉生显然不会对此信息毫不知情。实际上，他并不是因为老部下面临主任的职位而选择退下。在拒绝担任机关职务的问题上，他的态度一直非常明确。从他的履历可以观察到，他长期担任政委职务。在抗战时期，上级曾让他担任358旅的政治部主任，但他更倾向于让金如柏接手，自己宁愿继续在团里担任政委。解放后，上级又让他从第一军的政委调任西北军区政治部主任，他同样选择了婉拒，尽管在答应了调任后，他提出了一些附加条件，希望李恒汉能担任副主任，以便于工作能够更顺利开展。

早在1980年，当被调至沈阳军区之际，廖汉生便多次表达希望退下来的意愿，或是希望能留下来南京继续工作两年。他认为，赴沈阳军区工作两年而未能熟悉新的环境便退下来对于部队建设并无裨益。虽然上级没有采纳他的建议，但在接下来的两年里，他不断向军委领导提起自己退下来的想法，并推荐年轻干部接替他的工作。随着1982年干部年轻化的号召即将实施，年届71岁的他在年龄和精力上都远不如先前了，因此上级终于同意了他的请求。

离开了一线部队后，他原以为能享受一些闲适的时光，但在1983年，他却当选为全国人大副委员长，开始了他在另一个领域的忙碌工作，显得十分充实和繁忙。