1823년(순조 23)에 지방 유림의 공의로 정지년, 정승복, 정사준, 정사횡, 정빈의 덕행과 충절을 추모하기 위하여 옥천동에 옥계사를 창건하여 위패를 모셨다. 선현배향과 지방 교육의 일익을 담당하여오던 중 대원군의 서원철폐로 고종 5년(1868년) 훼철되었다. 그 뒤 1953년 유림의 협조로 현재의 위치에 복원하고 정선을 추가 배향하였다.
정지년은 세조가 단종을 폐위하자 벼슬을 버리고 산수를 벗 삼아 학문에만 전념하였다. 그리고 정승복은 정지년의 고손으로 명조 7년 옥구혐감이 되어 이준경과 함께 왜구를 소탕하였으며 어란진 첨사가 되어 추자도에서 왜적과 싸워 크게 이기기도 하였으나 을사사화로 인해 벼슬에서 물러나 학문에 전념하였다.
그의 아들 정사준과 정사횡, 손자 정빈, 정선은 임진왜란과 정유재란 때에 모두 공을 세웠던 인물들이다.
강의당은 강당으로 중앙의 마루와 양쪽 협실로 되어 있으며, 원내의 여러 행사와 유림의 회합 및 학문 강론 장소로 사용하고 있다. 경모재는 동재(東齋)로서 유생이 기거하면서 공부하는 장소로 쓰였으며, 세충문은 신문(神門)이고 태화문은 정문이다. 이 서원에서는 매년 3월 중정(中丁 : 두 번째 丁日)과 8월 중정에 향사를 지내고 있으며, 제품(祭品)은 4변(籩) 4두(豆)이다. 현재 전라남도 문화재자료로 지정되어 있고, 재산으로는 대지 300평, 전답 4,000여 평, 임야 7정보 등이 있다.