要谈及这个问题，首先得回顾关羽北伐襄樊之前，荆州的归属情况。

在东汉时期，荆州下辖南阳、南郡、江夏、长沙、武陵、零陵、桂阳七个郡。最初，东汉末年时，刘表占据了荆州。

建安十三年（公元208年），曹操亲率大军南下进攻荆州。刘表在此时因病去世，继承人刘琮意识到自己无法抵抗曹操的强大力量，于是主动归降，曹操随即占据了荆州的大部分地区。刘备带领残余的军队撤退到江夏郡的夏口，开始继续抵抗。然而，刘备不久便与孙权联合，在赤壁之战中成功大败曹操，迫使曹操退回江北。周瑜趁机夺取了南郡，刘备则顺势攻占了荆州南部的长沙、武陵、零陵、桂阳四郡。至此，南阳和江夏的部分地区仍在曹操控制之下。

之后，为了减轻曹操的压力，孙权决定将南郡让给刘备，从而形成了刘备占据荆州大部、曹操控制南阳郡和江夏郡一部分的局面。虽然孙权将南郡划归刘备，但这仍是因受曹操军事威胁的无奈之举。荆州地处江东上游，一直以来，孙权都对荆州怀有强烈的觊觎之心。刘备夺取益州之后，孙权派遣使者前往成都，要求刘备归还荆州。刘备坚决拒绝，孙权愤怒之下派兵夺取了长沙、桂阳、零陵三郡。

刘备随后亲自带兵迎战，最终因曹操夺取了汉中，使得刘备的后方不稳，最终与孙权达成了分割荆州的协议，以湘水为界，刘备占据了南郡、零陵、武陵，孙权则占有了长沙、桂阳和江夏。

自此，荆州成为了曹、孙、刘三方势力的共同领土。而刘备所占据的南郡、零陵、武陵三个郡中，南郡的战略地位尤为重要，因为南郡人口众多，也是刘备控制荆州的核心。南郡内，江陵和公安则是最为重要的城市。

当吕蒙攻打江陵时，糜芳若非选择投降，可能很难顺利攻下这座城池。

建安二十四年（公元219年），当关羽从荆州北上北伐襄樊时，吕蒙便趁机白衣渡江，发动了对南郡的突袭。公安的守将傅士仁和江陵的守将糜芳，先后选择投降吴军，导致南郡迅速陷落。

关羽得知消息后，仓促回军救援。但此时江陵已被吴军占领，而驻扎江陵的士兵家眷被吴军俘虏，使得关羽麾下的士兵纷纷逃散。最终，关羽只能在临沮被吴军擒获，并被杀害。

事实上，在吕蒙发动偷袭之前，他曾对孙权提出，关羽北伐襄樊时，后方留下了大量兵力驻守，防备吴军的偷袭。因此，吕蒙建议自己“诈病”以获取假期，借此使关羽撤回部分后防兵力，以便更好地发动突袭。

吕蒙的计策最终起到了意想不到的效果。关羽虽未完全放松警惕，依旧抽调部分兵力北上，但江陵的防守并没有因此大幅削弱。

江陵作为荆州的第二大城市，仅次于襄阳，城墙坚固。由于三国时期攻城技术的局限性，即使吕蒙将精兵伪装成商贾，成功骗过关羽设置在江边的侦察兵，若糜芳死守江陵城，吴军也未必能在短期内攻破江陵。

然而，关羽从襄樊撤军时，曹操并未派兵支援关羽，而是打算让关羽与吴军互相消耗，因此江陵的失守导致关羽的处境愈发艰难。如果江陵没有失守，且关羽麾下的士卒没有因担忧家属安全而离散，关羽安全返回江陵的可能性则较大。

但即使关羽成功撤回江陵，也并不代表能够轻松击退吴军的进攻。

吕蒙进攻南郡的同时，孙权派陆逊率领李异、谢旌等将领，进攻房陵、南乡、秭归等地，切断了益州与荆州之间的通道，江陵因此变成了孤城，面临来自东、南、西三个方向的围攻，而北方曹操的威胁也始终未曾消失。在这种情况下，关羽若要守住江陵，显然非常困难。

接下来的关键将取决于刘备能否在汉中之战后调动足够的兵力支援荆州，突破陆逊的防线；或者是孙刘两家在长时间未能分出胜负的局势下，再次因曹操的威胁而达成和解。这一切都无法预见。