唐武德四年(621)分贺州冯乘县置。治今湖南江华县东南老县。属营州。五年属南营州，贞观八年(634)属道州，十七年属永州，上元二年(675)复还属道州。文明元年(684)改为云溪县，神龙元年(705)复旧，移治今县东南阳华岩沱江南岸。元属道州路，明属道州。天顺六年(1462)移治宁远卫右千户所，即今县治。清属永州府。1955年改江华瑶族自治县，移治今县东南水口镇。1984年又复还治沱江镇，即今县。唐宋时产锡、铁，宋有黄富铁场。南有白芒岭，即萌渚岭，五岭之第四岭。