汝南郡周代属于蔡国和沈国的辖地。西汉 高帝二年(前205年)始建汝南郡,郡治在上蔡,这里属平舆、宜春和安城三县所辖。至迟在文帝时,汝南郡已由陈郡析置。秦始皇统一全国后属颍川郡。东汉时期汝南郡属于豫州刺史部