1508년(중종 3)에 지방유림의 공의로 김종직(金宗直)·김굉필(金宏弼)·정여창(鄭汝昌)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 그 뒤 병화로 향사가 중단되었다가 1931년 유림에 의하여 제단을 복원하고 김일손(金馹孫)과 정여해(鄭汝諧)를 추가 배향하였으며, 1934년에 제단을 사당으로 개조하였다. 1979년에 중수하고 해망서원으로 불렀으며, 1984년에 전라남도 문화재자료로 지정되었다. 1987년에는 문화재 관리사업으로 중수되었다. 경내의 건물로는 3칸의 숭의사(崇義祠), 내삼문(內三門), 4칸의 구인당(求仁堂), 외삼문(外三門), 고직사(庫直舍) 등이 있다. 사우인 숭의사에는 김종직을 주벽(主壁)으로 좌우에 김굉필·정여창·김일손·정여해의 위패가 봉안되어 있다. 강당인 구인당은 중앙의 마루와 양쪽 협실로 되어 있는데, 원내의 여러 행사와 유림의 회합 및 학문 강론장소로 사용되고 있다. 매년 9월 15일에 향사를 지내고 있으며, 제품(祭品)은 4변(籩) 4두(豆)이다. 소장전적으로는『돈재문집(遯齋文集)』 등 20여 종의 문헌이 있으며, 재산으로는 대지 300여 평과 전답 2,800여 평이 있다.