광남서원은 조선 초의 문신 황보인(1387~1453)과 그의 아들 황보석, 황보흠을 배향하기 위하여 1791년(정조 15) 지방 유림들과 후손들이 세운 세덕사가 시초이다. 이후 1831년(순조 31) 임금으로부터 사액서원으로 승격하였으나, 1868년(고종 5)에 흥선대원군의 서원 철폐령에 따라 철폐되었다가, 1900년에 다시 복원하였다.
황보인은 사간원 정언, 집현전 학사, 형조 참의, 강원도 관찰사, 병조판서를 거쳐 영의정을 지냈으며 이후 단종을 보좌하다 1453년 계유정란 때 역모죄로 몰려 살해되었고, 단종 복위와 함께 신원이 회복되어 충정이라는 시호가 내려졌다.
현존하는 경내의 건물로는 사당인 충정묘, 강당인 숭의당, 기숙사인 동재와 서재, 내삼문, 외삼문 등이 있으며 서원 뒤쪽에 유허비가 있다. 영천 황보씨 문중에서 운영과 관리를 맡고 있으며, 매년 음력 3월 중정일에 제사를 지낸다.