汉武帝元鼎六年（前111），析长沙国置零陵郡，郡治零陵（治所在今广西全州县西南39公里处），辖7县4侯国。7县是：零陵（今广西全州、兴安、灌阳一带）治所在今全州咸水、营道（今宁远县地）、泠道（今宁远、新田县地）、始安（今广西桂林、临桂、阳朔、灵川、永福、永宁县地）、营浦（今道县及江永部分地）、洮阳（今广西全州、资源县地）治所在今永岁乡梅潭、钟武（今衡阳县地）。4侯国是：泉陵（今冷水滩、芝山、祁阳、祁东、东安及双牌部分地）、都梁（今洞口、武冈、绥宁、城步一带）、夫夷（今邵阳、新宁一带）、舂陵（今宁远、新田、祁阳部分地）。元封五年（前106），郡上设州，零陵郡属荆州。
　　新莽王朝时，零陵郡改名九疑郡，辖地未变。
　　东汉时，复名零陵郡，迁郡治于泉陵（治所在今永州市芝山区城北1千米），辖区也有所扩大。除原来的7县3侯国（舂陵侯国并入泠道县）外，还增加了湘乡县（今湘乡、双峰等地）和昭阳（今邵东县地）、烝阳（今衡阳县地）2侯国，共计8县5侯国。东汉末年，荆州牧刘表于建安三年（198）攻占零陵，零陵郡属刘表势力范围。建安十三年（208）赤壁之战后，刘备代刘表领荆州牧，零陵郡属刘备势力范围。
　　三国时，蜀昭烈帝章武三年（223），刘备病故，零陵郡地入东吴。孙吴时期，零陵郡地域开始减小。甘露元年（265），分零陵郡西南部置始安郡，今广西桂林、临桂、阳朔、兴安、灵川、永宁、永福等县地从零陵郡分出。宝鼎元年（266）分零陵郡南部置营阳郡，郡治营浦（今道县）；分北部都梁、夫夷、昭阳置昭陵郡；同时将湘乡、重安（原钟武）、烝阳3县划入衡阳郡。至此，零陵郡辖6县：泉陵（今冷水滩、芝山、东安地及双牌的一部分）、祁阳（今祁阳县地）、永昌（今祁东县地）、零陵（今广西全州县地）、洮阳（今广西全州、资源县地）、观阳（今广西灌阳县地）。营阳郡辖营浦、营道、舂陵、泠道等4县。
　　西晋太康元年（280），废营阳郡入零陵郡。永嘉元年（307）置湘州，零陵郡属湘州。
　　东晋永和年间（345～356），析零陵郡复置营阳郡。义熙十二年（417），零陵、营阳二郡属荆州。
　　南北朝时期，梁天监十四年（515），改营阳郡为永阳郡；陈改永阳郡为营州永阳郡。
　　隋开皇九年（589），撤零陵、营阳二郡，设永州总管府，区域较零陵、营阳2郡有所扩大，谢沐、冯乘2县从临贺郡划入。大业五年（607），改永州总管府为零陵郡。辖5县：零陵（今冷水滩、芝山、祁阳、祁东、东安地及双牌部分地）、湘源（今广西全州、资源、灌阳地）、永阳（今道县、江永县地）、营道（今宁远、新田地及祁阳部分地）、冯乘（今江华、广西富川县地）。隋末，萧铣改营道县为梁兴县。
　　唐武德四年（621）废零陵郡，分置永州、营州。武德五年，改营州为南营州。贞观八年（634），改营州为道州。贞观十七年，撤道州并入永州。上元二年（675），复置道州。开宝元年（742），改永州为永州零陵郡，改道州为道州江华郡。到代宗大历二年（767），永州辖4县：零陵、祁阳、湘源、观阳（析湘源县置，今广西灌阳县地）；道州辖5县：宏道（原营浦县地，今道县地）、延唐（原营道县地，今宁远县地）、江华（今江华县地）、永明（原永阳县地，今江永县地）、大历（析延唐县置，今宁远、新田及祁阳部分地）。