縣這一概念最早出現在春秋時期的楚國武王時代，而它作為一個名詞則是出現在楚文王時期，因此我們可以比較清晰的知道郡縣制最先開始於春秋時期。
郡縣制形成於春秋戰國時期，盛行於秦漢時期，在出現郡縣制之前都是實行分封制。郡縣制的核心是皇權專制。秦220年，秦始皇統一六國後，為了維護封建地主階級的政治和經濟利益，廢除分封制，在商鞅變法的基礎上於全國推行郡縣制。郡縣制從秦朝正式實行後，影響了中國的整個封建皇朝。
郡縣制的推行是中國政治制度上的一次里程碑，從中央到地方的直線管理模式，地方官員由皇帝直接任命和調動，加強了中央集權。
郡縣制作為一項新興的地方政治制度它的實行前提是國家的大一統，建立在地域劃分的基礎之上。它不同於周朝分封制諸侯世襲的傳承製度，所有中央和地方的官員的官位都是由皇帝直接任命調動的，並且官位不得世襲、官員只有俸祿沒有封地。
郡和縣是地方的行政機構，對中央的命令要絕對的服從，因此不會造成地方官員擁兵自重的事情發生。
