公元前223年秦始皇（嬴政二十四年）破楚都寿春（今安徽寿县），虏楚王负刍，楚国灭亡；设立长沙郡。公元前221年，统一中国后的秦始皇为了纪念舜帝，遂将舜帝晚年活动过的“苍梧之野”设置为一个县，与湘、罗、益阳、阴山、零陵、衡山、宋、桂阳等9县共同隶属于长沙郡，县治设今广西全州西南39公里处的咸水。当时全国设县不多(最初36郡,后增加到48郡)，一县的辖地相当于今天的几个地级市。今湘南、粤北、桂东北地区，在秦初就只设了零陵县与桂阳县。当时零陵县辖含今永州的大部、邵阳市西南部、衡阳市西南部、桂林市大部分。西汉武帝元鼎六年（前111年）分桂阳郡新设零陵郡（亦在零陵县治，汉代迁到建安司）；增设洮阳县。相当管辖今桂林漓水以北的兴安县严关以北（灵渠修通后在大溶江司门前，设零陵郡始安县）、全州、灌阳、贺州、永福以东与阳朔以北，及永州市的九县两区全境、邵阳市以南资水上游三县地区和衡阳与道县之间的潇水、湘江流域（当时的县域有现在的2—6个县域宽），历来称之谓南楚。第二次变迁是在东汉时期。零陵的地名和行政区域均由此而一分为二。当时的泉陵县，辖今芝山区、冷水难区及祁阳、祁东、东安、双牌的一部分，县治今芝山，因其地理位置重要，东汉光武帝建武年间（25－55）将零陵之郡治由零陵县迁至泉陵县(湖南永州)。此时便出现了两个零陵，郡制的零陵治今芝山，县制的零陵治所仍在广西全州西南39公里处的建安司，后人称为“小零陵”。进入隋唐时期，又出现了第三次变迁，两个零陵被合二为一。公元589年，即隋开皇九年，取缔郡制改设州制，将零陵郡改置永州府，将泉陵、永昌、祁阳、应阳4县合并，定名零陵县。永州府治和零陵县治均设今之芝山。这样，在广西全州县西南39公里，存在810年之久的零陵县结束使命。