隋朝大运河共分为4段：永济渠、通济渠、邗沟、江南河。

公元605年，隋炀帝下令征发河南、淮北100多万士兵、民夫，开始开凿通济渠。通济渠北起东都洛阳的西苑，南到安徽的盱眙。它引谷水、洛水入黄河，进入黄河后，利用黄河的一段河道，到达板渚(今河南汜水东)。从板渚再引黄河水南流，使河水进入睢水。睢水经中牟、开封、陈留、高邮、泗县，入泗水，而进淮河。这段运河是利用古代运河渠道，加以拓宽，所以从当年3月开工，8月完成，2000里的渠道只用了100多天。

淮河与长江之间，隋朝以前有邗沟相通，邗沟北起山阳南到江都(今扬州)。邗沟在隋以前，多次改道，河道狭窄，根本无法通行大船。隋文帝开邗沟，只是整治了邗沟入淮水的水口，并没有彻底清理河道。隋炀帝征发10余万士兵和民夫，把旧有的邗沟拓宽取直，从山阳直达扬子(今仪征)，从而直通长江。

公元608年，开凿永济渠。这段主要是利用自然的河道，沟通沁水和淇水，引沁水入淇水，在涉县北部会合，一直北流到天津入海。永济渠就是利用这条天然的水道向北伸展，然后入水定河，北达涿郡(今北京通县)。

公元610年，隋炀帝下令开江南河。江南河北起京口(今江苏镇江)南到余杭(今杭州)。隋朝以前，长江以南已有不少小运河，这次开河就是利用旧日的小运河，加以拓宽。然后引长江水，穿小运河，绕过太湖，直达杭州。至此，大运河全部开通。

建造这样规模宏大的工程，劳动群众付出了巨大的代价。