1698년(숙종 24)에 지방유림의 공의로 민정 중의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 1716년에 민유중을 추가배향하고, 1726년(영조 2)에 ‘연곡(淵谷)’이라고 사액되었다. 선현배향과 지방교육의 일익을 담당하여 오던 중 1868년(고종 5)에 대원군의 서원철폐로 훼철되었으며, 1904년에 유허비와 단을 세워 향사를 지내왔다. 그 뒤 사우(祠宇)를 제외한 다른 건물들을 점차적으로 복원하였다. 경내건물로는 4칸의 연곡당(淵谷堂), 1칸의 어필각(御筆閣) 및 내삼문(內三門)·외문(外門)·고직사(庫直舍)·원임실(院任室)·협문(夾門) 등이 있다. 연곡당은 서원의 강당으로 중앙의 마루와 양쪽 협실로 되어 있는데, 원내의 여러 행사와 유림의 회합 및 학문 강론 장소로 사용되고 있다. 어필각에는 영조의 어필이 보관되어 있으며, 원임실은 향사 때 임원 및 제관의 숙소로, 고직사는 관리인의 거처로 사용되고 있다. 이 서원에서는 매년 3월 3일에 단제(壇祭)를 지내고 있으며, 제품은 4 변(籩) 4두(豆)이다. 전라남도기념물로 지정되어 있다. 재산으로는 전답 5,800평 등이 있다.