1963年,杜平从沈阳军区副政委的职位晋升为南京军区政委,位居第七。那时的南京军区设有七位政委,这让人不禁产生疑问,杜平的调动是不是显得多余。然而,实际上,在这七位政委中,有四人同时担任着上海、江苏、浙江和安徽的第一书记,专注于军区工作的政委只有三位。而第二政委唐亮因健康问题,军区的日常事务主要由萧望东和杜平共同负责。到了1964年和1965年,唐亮因身体原因离休,萧望东也被调离,杜平便完全承担起了军区的主要工作。
1974年,杜平因工作压力受到各方批评,身体状况严重恶化,最终因心脏病住院。令他意外的是,一个月后,他接到了被免去省委书记、军区政委以及军区党委第三书记职务的通知。虽然官方的理由是因病休养,待他身体恢复后再重新安排工作,但他对此感到无奈,只能接受这一决定。他的儿子在回忆录中提到,曾经有人早早希望杜平离开这个职务,但当时并没有足够的理由,直到他因病休养,某些人便趁机向上级提出免职的建议。 失去职务后的杜平只能在空闲时散步和写字,虽然身体逐渐恢复,但他的心情始终低落。因为在当时的社会背景下,他不仅要面对自己的命运选择,还要思考国家的前途。在那段时间里,他没有出现在任何社交场合,甚至出门散步时也是清晨早早起身。儿子回忆起那段日子,父亲满脸忧虑和焦虑,似乎随时都在思考着自己的未来。尽管杜平暂时离开了职务,他也因此免去了一些复杂的事务,不再受到批评。由于工作负担减轻,他的身体恢复得更加明显。直到1977年,身体好转的杜平前往北京体检,偶遇了总政治部副主任梁必业。梁必业认为杜平的身体状况恢复良好,符合重新担任职务的条件,于是建议上级考虑将他调到福州军区担任政委。福州的气候宜人,杜平对此表示考虑。见到叶帅时,叶帅问他有什么要求,杜平表示,考虑到自己已经在南京军区工作生活了十多年,他希望能继续留在原地。最终,杜平被重新任命为南京军区政委,恢复了原职。 然而,当他重新上任时,廖汉生已被任命为军区的第一政委。廖汉生于1975年从军科院调任政委,而那时杜平已经处于赋闲状态。两年后,军区司令员更换为聂凤智。或许由于身体原因,杜平的工作强度有所限制。到了1980年,廖汉生被调往沈阳军区,随之上级任命新疆军区司令郭林祥为第一政委,而杜平依旧担任政委直到1982年。随着干部年轻化的趋势逐渐明显,再加上杜平的身体状况越来越差,最终他决定离开一线岗位。