1960年，徐国夫被调任为沈阳军区装甲兵司令员。这一调动引起了一些人的疑问，他们说：他做陆军工作没问题，但做装甲兵能行吗？ 对于这些质疑，徐国夫心里并不服气，他暗自下定决心：我要用自己的表现来让他们刮目相看。 徐国夫在解放战争时期，曾是韩先楚的部下，担任师长。他在战场上屡战屡胜，尤其擅长打硬仗、恶仗。对于韩先楚这种能在恶战中指挥若定的指挥员，徐国夫非常佩服。他特别钦佩韩先楚的指挥才能，尤其是在过去的战争中，韩先楚作为四纵副司令，和三纵多次配合作战，诸如梅河口战役和四保临江战役，均表现出了极强的指挥能力。

当韩先楚被调任为三纵司令后，他指挥的奇袭威远堡战役，给徐国夫留下了深刻的印象，甚至让他有了拜师的想法。后来，由于伤势，徐国夫离开了韩先楚的部队，随即被调到五纵担任师长。在南下中南战役期间，他回到了40军，继续担任师长，并参与了衡宝战役和海南岛战役等重大作战。 在战场上，徐国夫非常敬重那些敢打硬仗的指挥员，而对于那些在战争中退缩，且总是把功劳揽在自己头上的干部，他深感不屑。 作为一名久经沙场的战将，徐国夫原本在陆军作战中积累了丰富的经验。然而，当他被调任到装甲兵工作时，许多人对他能否胜任产生了疑问。装甲兵是一个高度依赖技术的兵种，面对庞大的坦克和复杂的操作，他曾经一度感到手足无措，甚至在过去还成功摧毁过敌方的坦克，现在却要亲自驾驶这些重型武器。

但徐国夫没有气馁，而是通过学习和不断实践来提升自己。他深入部队检查工作时，除了听取技术汇报，还亲自观察和体验技术操作。部队的人们都对他刮目相看，纷纷称赞他：这位少将司令真了不起，才这么短的时间就变成了行家。 在装甲兵工作了七年后，1967年，徐国夫被调任沈阳军区副司令员，负责军事训练。那个时候，部队正处于运动状态，徐国夫几乎没有时间待在办公室，常常是一个月大部分时间都呆在部队。然而，由于他忙于训练工作，缺少时间应对一些高层领导的要求，结果他被某些领导认为不够可用，最后被边缘化。 直到1979年，徐国夫才得以恢复工作。当时他已经65岁。面对自己年纪的增长，他感到工作的时间越来越短，因此拼尽全力工作。尽管张才千和李成芳曾提醒他：工作不是一天能完成的，心急可不行，但他依旧全力以赴。

到了1980年代初，徐国夫终于决定离休。对于晚年的生活，他选择了回到东北。尽管他并非土生土长的东北人，但曾经在这里战斗过，也在这里工作过多年，因此对东北的一切都已十分熟悉，无论是饮食、穿着，还是语言，都让他感到亲切。更重要的是，他特别喜欢东北的风俗和人情。