朱元璋建立明朝初期，其官僚机构仍然采用元朝的制度，在中央设中书省，由左右丞相总理吏、户、礼、兵、刑、工六部事务；在地方设行中书省，统管地方军政事务。这一制度，从中央来说，大部分权力掌握在丞相手中，地方上的行中书省总揽军政事务，权力也很大。

这对权力欲极大的朱元璋来说，自然是不满意的。他说：“设相之后，臣张君之威福，乱自秦起。宰相权重，指鹿为马。自秦以下，人人君天下者，皆不鉴秦设相之患，相从而命之，往往病及于国君者，其故在擅专威福。”他总结元朝灭亡的原因，认为其中之一，就是“委任权臣，上下蒙蔽故也”。朱元璋不愿意作无所事事的傀儡皇帝，他要按照自己的意志来治理天下，这就必须加强皇权。

朱元璋先从削弱地方权力开始。洪武九年(1376年)下令，改行中书省为承宣布政使司，设左右布政使各一人，掌管民政财政。除南京直辖区外，全国分为十二布政使司：浙江江西、福建、北平、广西、四川、山东、广东、河南、陕西、湖广、山西。十五年，增置云南布政司。各布政司管辖地区，大致仍照元代时行省所辖范围。由于行中书省的名称已经成为习惯，所以一般还是称为行省，俗称省。

承宣布政使司和布政使外，各行省另设提刑按察司，设按察使一人，掌管刑法。又设都指挥使司，置都指挥使，掌管军事，与布、按并称三司，为封疆大吏。他们不相统属，各自直属中央。这样，原来由行中书省长官总揽的大权，便一分为三，三者互相牵制，凡遇到重大政事，就要有都、布、按三司会议，上报给中央的部院。在一些边远和少数民族地区，则单设都指挥使司等机构，实行军政和民政合一的统治。

布政司下的地方政权分为二级：第一级是府，长官为知府；直隶州，即直属布政司的州，长官为知州，其地位和府相等。第二级是县，长官为知县；一般州(也叫属州)的长官为知州，其地位与县相等。这一改革把元朝的路、府、州、县减少了一级，传达和奉行政令更便捷了。、接着，朱元璋对中央统治机构进行了改革。当时，中书省大权掌握在左丞相胡惟庸等人手中，他们仍想照宰相的职权来行事，“生杀黜陟，或不奏径行”。朱元璋对此自然是不能容忍的。

所以，在改革地方官僚机构的第二年，即洪武十年(1377年)五月，朱元璋便命李善长与李文忠“总中书省、大都督府、御史台，同议军国重事”。这是借元勋重臣压制中书省等机构权力的一种措施。第二年，朱元璋又“命奏事毋关白中书省”，这就把中书省变成了一个有名无实的空架子了。

洪武十三年(1380年)正月，朱元璋终于以阴谋政变的罪名杀了胡惟庸。罗织胡惟庸的罪状是：组织党羽，收集军马，勾结倭寇和蒙古，请兵为外应等。朱元璋乘机废除了中书省及丞相制，分中书省和丞相的权于六部，相对提高六部的职权和地位，由六部尚书直接对皇帝负责。