김면 장군 유적지 내에 위치한 도암서원은 김면 장군을 배향하기 위해 세운 조선 후기 서원이다. 1666년에 건립된 도암서원은 초기에는 대가야읍 연조리에 위치하고 있었다. 그 후 1789년에 쌍림면 고곡리의 현재 위치로 이건하였으나, 이후 흥선대원군의 서원철폐령에 의해 훼철되었다. 서원이 훼철되면서 1903년 문중의 주도로 도암서당으로 사당 왼편에 건립되었다. 그 후 1907년 지방 유림들이 도암서당 유계를 조직하여 해마다 곡식을 내어 김면의 묘사를 지냈으나 1910년 이후 없어졌다. 문중에서 1975년 도암재를 건립하여 문중의 재실로 사용하다가 2002년 고령 내 유림들이 발의하여 이 건물을 도암서원으로 복원하였다.
김면 장군은 1541년에 태어난 학자로 참봉, 공조좌랑에 임명되었으나 사퇴하였다. 임진왜란이 일어나자 조종도, 문위 등과 거창, 고령 등지에서 의병을 규합하여 적군 10만과 우지에서 대치하여 적을 격퇴하고 무계에서 승전하였다. 그 공으로 합천 군수로 임명되었으며 의병대장의 칭호를 받았다. 사후 병조판서에 추증되었으며 1607년 이조판서에 가증되었다.