安史之乱爆发后，唐玄宗李隆基仓促带领朝廷逃往蜀地，途中经过马嵬坡时，发生了将士哗变，杨国忠及其家族被杀，杨贵妃也被迫自尽。李隆基不得不继续向南前行，而太子李亨则北上前往灵武平定叛乱，父子从此分道扬镳。

公元756年7月12日，李亨到达灵武的第四天，便在南门城楼上举行了登基仪式。此时李隆基刚到达普安，完全不知道自己已经被废除，成了太上皇。继位后的李亨派遣使者一路追赶李隆基，终于在李隆基到达成都半个月后见到了他。李隆基笑着对使者说：吾儿应天顺人，吾复何忧！尽管他说得轻松，但他内心的感受却无人知晓。毕竟做了四十多年皇帝，突然让出权力，岂能不感到失落？然而他别无选择，只能顺应形势，并下令发布诏书：自今改制敕为诰，表疏称太上皇。四海军国事，皆先取皇帝进止，仍奏朕知；俟克复上京，朕不复预事。（出自《资治通鉴》）因此，太子李亨成为了唐肃宗李亨，而李隆基则变成了太上皇，留在蜀地。直到两京恢复后，李亨派使者迎接李隆基回京。757年12月初，李隆基回到了久别的京城，住进了兴庆宫，从此开始了他作为太上皇的生活。

在最初的两年里，李隆基的生活并不算差。或许是因为李亨登基时内心有愧，或许是李亨多次请求让李隆基复位未果，所以他对李隆基表现出了感激。刚开始时，李亨对李隆基还不错，依旧安排陈玄礼和高力士等人伺候他，李隆基的妹妹玉真公主、宫女如仙媛、内侍王承恩以及能歌善舞的梨园弟子们，依旧陪伴着他。李隆基过得安逸舒适，虽然失去了杨贵妃和皇位，但生活没有太大变化。毕竟，在安史之乱之前的许多年里，他就已沉迷享乐，对国事并不关心，因此太上皇的生活对他来说并不算太难受。而且他住的兴庆宫对他而言意义非凡，因为这是他当年做藩王时的府邸扩建而成，环境非常熟悉、亲切。此外，兴庆宫的位置也很优越，位于皇城之外，靠近长安外城的市井区，从长庆楼上可以俯瞰热闹的街市，李隆基因此有了较大的自由，也能直接与百姓和朝中官员如将军郭英乂等人进行互动，这对喜欢热闹的李隆基来说是非常重要的。

然而，这份自由的生活被一个人打破了，这个人就是当时权势滔天的宦官李辅国。李辅国是李亨的心腹，因为支持李亨登基有功，李亨将重任交给了他。李辅国在朝中地位非凡，甚至比李亨的话还要有权威。尽管如此，李辅国的出身却十分低微，且长相极为丑陋，早年只是高力士手下的养马小工，直到四十多岁才因为养马有功被提拔进入东宫，才开始崭露头角。当李辅国掌握了巨大的权力后，他不仅令文武百官对他敬畏，连李亨也常常无法左右他，但依然有一些人对李辅国不屑一顾，李隆基身边的高力士和陈玄礼就是其中之一。尤其是高力士，他曾是李辅国的上司，尽管李辅国如今位高权重，但高力士始终看不起他。

李辅国因此感到愤怒，他开始向李亨进言，称李隆基住在兴庆宫时，常与外界接触，陈玄礼和高力士也常与李隆基密谋，且不利于李亨的统治。李亨初听此言，心中不信，认为李隆基不可能做出如此举动。但随即，他又不得不多加思虑，因为李隆基做了四十多年皇帝，若真想重掌权力，绝非易事。所以李亨的心情十分复杂。李辅国趁机建议将李隆基迁至宫内居住，虽然李亨没有明确答应，但也没有明确拒绝，这本身就表明他有所顾虑。

为了试探李亨的态度，李辅国矫诏取走了兴庆宫内的290匹马，只留下10匹给李隆基，而李亨没有作出回应。此事之后，李辅国便开始施加压力，他让禁军六军的将领向李亨请愿，要求将李隆基迁往太极宫（西内）。李亨无言以对，内心虽然有所想法，但也无可奈何，只能默默忍受。

760年7月，李辅国趁李亨生病之际，假称李亨要迎接李隆基游玩，诱骗李隆基离开兴庆宫。当时，只有二三十个年老体弱的随从陪伴李隆基，等他们走到睿武门时，李辅国率领500名骑兵拦住了去路，命令李隆基迁往太极宫。李隆基惊吓不已，差点从马背上摔下来，幸好高力士及时出现，大声制止了李辅国，斥责他无礼。李辅国只得下马。接着，高力士宣读了李隆基的诰命，命令各将士退下，并保护李隆基来到太极宫甘露殿。

此后，李辅国向李亨请罪，李亨却冷静地回应：南宫、西内，亦复何殊！卿等恐小人荧惑，防微杜渐，以安社稷，何所惧也！他似乎并不太在意此事，反而松了一口气。最终，李隆基被迁入西内，开始了类似囚禁的太上皇生活。虽然高力士在途中保护了李隆基，但他毕竟只是宦官，无法改变李隆基的命运。进入西内的李隆基，生活变得更加孤独，心情沉闷，甚至一度绝食。两年后，李隆基因郁郁寡欢而去世。