고려 공민왕 때에 현유(賢儒)의 위패를 봉안, 배향하고 지방민의 교육과 교화를 위하여 창건되었다. 1582년에 중수하였으며, 임진왜란 때 소실되었다가 그 뒤 복원하였다. 현존하는 건물로는 정면 3칸, 측면 2칸의 맞배지붕으로 된 대성전, 정면 4칸, 측면 3칸의 전사청(典祀廳), 각 3칸의 동무(東廡)·서무(西廡), 각 3칸의 동재(東齋)·서재(西齋) 등이 있다. 대성전에는 5성(五聖), 송조2현(宋朝二賢), 우리나라 18현(十八賢)의 위패가 봉안되어 있다. 또한, 이곳은 1919년 3월 1일 탑골공원에서 독립만세 함성이 점화된 후 3월 14일 전남도내 군 단위에서는 최초로 영광에서 독립 만세 운동이 시작된 곳으로 영광향교 명륜당 터에 비를 세워 그 의미를 기리고 있다. 영광향교의 보호수는 은행나무로 수령은 680년이고 나무둘레는 6.8m, 나무 높이는 23m에 이른다.