中央官制理顺了，隋文帝做的第二件大事是改革地方制度。有两个方向：

第一、改革原来州郡县三级行政体制，实行川县二级制。

第二、改变高门大姓把持地方的局面，地方佐官由中央任命。

为什么改三级制为二级组呢？因为当时的地方行政区实在太多。举一个数字。当年西汉时，全国一共一百零三郡、一千五百八十七个县。平均每一郡统辖十几个县，是比较合理的行政分层。可是到了隋朝，领土少了江南一大块，但是，地方的行政层级反倒复杂起来，也多起来了。隋朝实行州、郡、县三级体制，州有两百一十一个、郡有五百零八个、县则有一千一百二十四个。平均一州才管两个半郡，一个郡管两个多一点县。十分不合理。

为什么隋朝的行政区这么多？很简单，因为隋朝继承的是北周和北齐的行政设置，北周和北齐的行政区就这么细碎。当年北齐和北周分裂时，争相以官职来笼络人才。可是现有的官职不够，便拚命把地方行政细碎化，原来应该设一个州的地方，设三个州；原来应该设一个郡的地方，设五个郡，这样地方官就多起来了。官职多，就可以多安排几个干部。可是你这样笼络人才，我也这样笼络人才，最后，北齐和北周竞相设置新的行政区画，这样一来，无论北齐还是北周，行政区都愈画愈小，官也因此愈来愈多。

后来，北周吞并北齐，地方基本没做变动，照单全收，而隋朝又篡了北周天下，这个问题依然没有解决。问题是，这么多行政区，这么多官，不仅意谓着人浮于事，行政效率低下，还涉及行政成本的问题。所有官员都得老百姓来养，官员多了，老百姓不就苦了？国家财政也承受不起。在这种情况下，改革地方行政体制便显得十分迫切。

开皇三年（五八三年），官员杨尚希上了一份奏章，他说：

窃见当今郡县，倍多于古。或地无百里，数县并置；或户不满千，二郡分领。具僚已众，资费日多；吏卒又倍，租调岁减……民少官多，十羊九牧。……今存要去闲，并小为大，国家则不亏粟帛，选举则易得贤才。

这份奏章把问题说得非常清楚，但是，解决办法并不理想。什么叫存要去闲、并小为大啊？闲和不闲到底怎么区分，小和大的界限在哪里？还有，如果这样做，三个层级岂不要大动干戈？隋文帝觉得太难操作，干脆直接省掉一个行政层级，省哪一级呢？

只能省中间层，把郡这一级取消！开皇三年（五八三年），隋文帝一声令下，全国五百零八个郡马上全部撤销，这样一来，实行了好几百年的州郡县三级制重新变成州县二级制，行政层级减少，十羊九牧的局面大大缓解，地方行政开支也大幅下降，对老百姓而言，是件大大的好事。

再看第二项措施，地方佐官由中央任命，是一项重要改革。从秦汉以来，中央只任命州刺史、郡太守、县令等主要长官，而长官下属的官吏，也就是佐官，均由长官自行辟召。地方长官都辟召什么人呢？当然首选当地的高门大族。因为他们对地方的情况比较清楚，而且人脉发达，有能摆平各种局面，中央空降过来的地方官还得依靠他们才能站稳脚跟。这就和《红楼梦》中贾雨村当官，先要抄一张当地的护官符一样。这样一来，虽然地方的主要长官是中央任命，但是，地方的实际行政往往把持在当地豪门手里。

东汉时就有这样的歌谣：“南阳太守岑公孝，弘农成瑨但坐啸。”意思是，当时的南阳太守是弘农人，叫成瑨，他到南阳做官后，辟召当地的名士岑公孝，让他当功曹。结果，岑公孝把政事打理得清清楚楚，根本不用成瑨操心。成瑨每天只需找个清静地方吹口哨玩就可以了。所以，人们说，真正的南阳太守是岑公孝，弘农来的成瑨不过是坐在那里吹口哨罢了。问题是，这就助长了世家大族把持地方的风气！不利于中央集权。中国从东汉末年到隋朝三百年分裂，贵族把持地方即为主要原因之一。怎么办呢？

于是在开皇三年（五八三年），隋文帝规定，原来由长官辟召的佐官统统下岗，担任乡官，只管教化风俗，不管行政事务。空出来的行政职务由谁担当？文帝下令，从今以后，地方佐官一律由中央任命，而且一年一小考、四年一大考，依据考核情况决定去留。

这样一来，地方官吏的任免权就牢牢抓在中央手里，中央和地方的步调高度一致，世家大族再想横行乡里，左右地方政权，闹分裂、割据就难了，由此加强了中央集权。