公元617年，天下大乱，农民起义军蜂起云涌，统治阶级内部也分崩离析。李渊在其次子李世民等人策划下，决定起兵反隋。李渊派晋阳令刘文静诈作敕书，征发太原等 4郡民众 20—50 岁的工男全部为兵，进攻高丽。以此大造舆论，扰乱民心，因而人心惶惶，思乱者益多。2 月，马邑人刘武周起兵杀太守王仁恭，自称天子 ，国号定阳。李渊遂以讨伐刘武周为名，自行募兵，四出活动，收揽人才。李渊的这一行动引起忠于隋炀帝的副留守王威和高君雅的怀疑。他们阴谋在太原郊外晋祠祈雨时，诱骗李渊参加，伏兵杀害。晋阳乡长刘世龙与高君雅相好，窃知其谋。告之李渊。李渊决定先发制人。5 月15 日，李渊诬告其副手、炀帝亲信王威、高君雅以"潜引突厥入侵"为由，将他们入狱。17 日，突厥数万兵士果真侵犯晋阳，很多人皆以为这是王威、高君雅所为。李渊乘机把天威、高君雅杀掉，宣布自己大举义兵，是为了安定天下。同时，李渊又卑词厚礼讨好突厥人，并与之相结，以安后方。李渊得到突厥的支持后，公开打出反隋旗子，于公元 617 年（大业十三年）6 月，传檄诸郡，称"义兵"。

不久，李渊派长子李建成、次子李世民击西河（今山西汾阳县），打通南下之路。7 月，李渊以3子李元吉为镇北将军、太原留守，他亲率3万大军直指长安。8 月初攻克霍邑（今山西霍县），隋大将宋老生兵败，被斩于城下。李渊攻克霍邑后，议功不分贵贱，论功行赏，无所差异，慰劳奖赏霍邑吏民; 对原关中军士，谁想回归的，给予授官遣归。他采取了这一政策之后，大得人心，至长安时，军队已发展到 20 多万。10 月，围攻长安时，又宣布军纪，禁止入村落侵暴，发布命令; "凡是侵犯隋七庙及宗室者，罪及三族。" 11 月，入长安。又发布"约法12 条"，完全废除隋的苛禁，尊炀帝为太上皇。立代王杨值（炀帝嫡长孙）为皇帝。由他总揽大权，又以书谕诸郡县，各地纷纷派子弟前来请降。

公元618年3月，炀帝被杀后，死讯传到长安，李渊为之"痛哭"。5月，隋恭帝被迫禅位，李渊在太极殿即皇帝位，国号唐。改郡为州，以太守为刺史。废隋大业律令，继续隋之科举制度。

李渊称帝后，为了夺天下，在军事上，采用秦汉之战略∶

第一，先取陇、蜀（今甘肃、四川），再东争中原，南下江淮，收拾全国混乱局面。

公元618 年6 月，以次子李世民为西讨元帅，与金城（今甘肃兰州市）薛举父子战于泾州（今甘肃泾川县），经5个月苦战，薛仁二杲战败投降。西秦亡。唐得陇西之地。次年 5 月，擒凉王李轨，又得河西之地。在此之前，派使者至巴蜀得四川之地。

第二，北灭刘武周。割据者刘武周借突厥之力，想与李渊争夺关中之地。公元 619 年 4 月，屡胜唐军，占领太原后，席卷山西广大地区。翌年 4 月，被李世民击败。

第三，出关东伐。主要目标一是洛阳王世充（国号郑），二是江陵萧铣（国号梁），三是河北宪建德（国号夏）;其次是江淮杜伏威、辅公祐。

公元 621 年 5月，李世民在虎牢（今河南荥阳县）擒获窦建德，王世充亦降。10 月赵王李孝恭俘萧铣，灭梁。同年，又平岭南，江淮杜伏威和幽州的罗艺也先后入朝。至此，基本削平隋将割据称霸、农民起义军称雄一方的全国四分五裂之状态，成了大统一局面。