瑶族是一个历史悠久的民族，其先民自宋至元代，由江西、湖南迁于境内居住。元末、明初，曾两次局部遭受元、明王朝的镇压屠杀，有关瑶民只得移居深山密林和高寒山区，留居平原的则隐姓埋族以避祸。瑶族散居贫瘠山区，在艰困条件下，植林垦荒，开山造田，过着衣不蔽体、食不裹腹的生活，他们为民族的生存、繁衍而顽强斗争，保持着固有的语言、服饰、风俗习惯，与全国其他民族一起，为创造中华民族文化作出了贡献。
解放后，贯彻中国共产党的民族政策，建立了各民族一律平等、团结、互助、共同繁荣的社会主义民族关系。1951年，在中央民族访问团的帮助下，成立了广西第一个县辖区一级的全县东山瑶族自治区人民政府，后依法相继改为东山瑶族公社和东山瑶族乡。1984年又相继成立了蕉江瑶族乡人民政府，实现了瑶族人民当家作主的愿望。从此，瑶区在政治上日益安定团结，生产和生活得到初步改善，面貌发生了显著变化。
1990年， 全国第四次人口普查，县内瑶族人口29027人，占全县总人口的3.97％。分布在全县20个乡镇，主要居住在东山、蕉江两个瑶族乡和西部越城岭上。