文昌庙原建于城南门外,嘉庆三年(1798年)移于今址。坐西朝东,为双重檐歇山顶无斗拱砖木结构建筑,东西长25米,南北宽15米,占地375平方米。文昌庙后为奎星楼遗址,文昌庙下为城隍庙,共同组成了占地1.3万平方米的古建筑群保护区。