咸康四年(338年),晋侨置小黄县(安徽亳州市区),属陈留侨郡。隆安三年(399年),后秦废。北魏复置,为陈留侨郡治所。后为实县,隋开皇三年(583年),撤销陈留郡,为亳州治所。大业三年(607年)四月改小黄县为谯县。