族 源
县内瑶族过去有自己的语言而无文字。其族源资料主要靠口碑、歌谣、故事等形式流传下来。其说有三：一、瑶民是盘王的后裔。瑶民建立盘王庙以纪念自己的祖先，有的一村数个，有的数村一个，仅东山瑶族乡就有42个盘王庙。农历四月初二为盘王生日，十月十六日为盘王节，以跳盘王舞、唱盘王歌、还盘王愿等形式进行纪念。二、瑶族祖先是盘瓠。相传盘瓠与平王宫女婚后生下6男6女，即12姓瑶人的祖先。三、混沌之世，天下大水，人类死亡，只剩伏羲兄妹2人，兄妹成婚后生下一个大肉团，将其切成360片，抛撒山头，落在山上的是12姓瑶人的祖先，落下平原的是汉人的祖先。
迁 徙
今湖南省北部一带，秦、汉时就是瑶族先民活动的主要地区，南北朝时曾一度北迁长江、淮河之间，后受中央王朝的压迫，又折回湖南、江西一带。宋、元之际，逐步越五岭南下，正是在这个时期，瑶族迁入今本县境内。据东山瑶族乡古木凼里、井头小村、周家水盘氏族谱记载。该三村盘氏共同先祖一郎公于宋代末期，从江西鹅弓大丘源湾村经湖南千家洞迁居灌阳大云布庭冲清溪坊，然后移住该村。此外，白岭的岭压(此村已废)、下福塘、子曹的江龙源、上塘的宅地和梅木的荞麦采等地的盘姓(早在东山居住的所谓土著瑶民)，据调查亦系宋末、元初时迁入。元至正八年(1348)湖南靖州瑶民起义军领袖吴天保率部攻全州，州内瑶民闻风响应。两河厚村邓氏族谱亦载：“元季之乱，千户长均远公，奉命招抚东山猺(瑶)民二十四户(今白岭一带)，百二宅、梅木等处，全活数万生灵”。足见当时的东山瑶民，已有一定数量。又据《全州县地名资料汇编》及有关资料纪载：元、明、清时期迁入县内之瑶族，多来自江西、湖南，少数来自四川及广东。如明初自江西省迁来者，有东山瑶族乡的坪香、竹坞及豹子岭俸姓，迁居下福塘之盘姓；自湖南省迁来者，有蕉江瑶族乡的盘、凤两姓，他们由郴州到灌阳观音阁，至兴安长洲，然后到全州水南，经凤凰棕树园进头所瑶家芋头田，凤姓进大源柑子浸后分住大屋浸、枧杆浸、灯草田、横山坪、杉树湾、水塘浸、毛竹山。盘姓由瑶家芋头田进蕉江野鸡坪后分往赤竹平、黄屋浸、上茶源、高屋场，华菜岭、崩山、沈家、砍菜冲、曹家等村。大源盘姓系由上述村落移住。沈姓则由石塘圩移住大潮源，复迁蕉江大、小白露和大源各村。至于茶皮浸梁姓也是明初落住此地的。明代中期 (宣德至万历年间，即1426～1619) ，自江西迁来者，有东山瑶族乡白竹村弯屋房、清水、吊水坪、老村、七宝坑等村盘姓；上塘塘背、七宝坑、大引、大友头、洞州奉姓；下岩口胡姓。从湖南迁来者，有豹子岭盘姓。明末来自江西者，有白竹村的新十甲盘姓；来自湖南者，有中岩的盘姓。清代迁入本县的瑶民，基本上来自湖南省。还有拐塘、梅木、小塘等村黄姓也是从湖南迁来的。而蕉江瑶族乡的板瑶山黄姓则来自龙胜。绍水镇的桐油、大惠村之邵姓是从四川来广西龙胜，复迁至该村的。
瑶族迁入本县境内，有居地广人稀之山区的，亦有居平原的，如蕉江瑶族乡的盘、凤二姓的祖先，都先至凤凰棕树园，其后逐步被迫迁住蕉江、大源各地。还有受封建王朝的迫害及地主阶级的欺压，如洪武二十七年(1394)的屠杀全、灌起义瑶民，因避祸而不得不迁居深山老林的。再有就是一些汉人，因躲避兵燹战乱或讼事祸端，为生计所迫，进入瑶区，顶替瑶粮，改为瑶籍、瑶姓。如下福塘盘姓瑶民，原姓周，从石塘圩经白竹迁到今居地，其族谱载：“凡屡迁所住之地，土著之盘，有不与同姓，不以田宅让其永远管有之权，我先人乃能永远管有此田宅，其易周为盘也”。
经六、七百年之种种演变，形成了今日县内瑶族主要聚居东山、蕉江两乡及散居绍水、咸水、朝南、安和、才湾等乡(镇)的分布局面。