반곡서원은 우암 송시열선생이 1679년(숙종 5년) 거제도로 귀향을 왔을 때 머물렀던 곳에 세워진 서원이다. 거제 유림 윤도원, 옥삼헌 등이 문정공 우암 송시열선생의 학문과 덕행을 추모하기 위해 1704년(숙종 30년) 창건하였으며, 그 후 죽천 김진규, 몽와 김창집, 학공 이중협, 문충공 민진원, 정문공 김수근 등을 추가로 배향되었다.
1868년(고종 5년) 흥선 대원군의 서원철폐령으로 철폐되었으나, 1906년 거제 유림에서 서원의 옛 터에 제단과 반곡서원유허비를 세우고 매년 가을에 단제를 봉행하였다.
1971년 거제향교 전교 윤병재가 서원의 복원을 발의하고 유림총회에서 1974년 우암사를 중건하고, 인접 지역 고택 3채를 철거하여 나온 부재로 강당을 보수하여 개축하는 등 옛 모습을 되찾았다. 2010년부터 3년간의 대대적인 복원 사업을 진행하여 현재의 모습을 갖추게 되었다.
동록당은 추사 김정희가 군자라 칭송했던 동록 정혼성을 배향한 곳이다.