오계서원은 1570년(선조 3)에 이덕홍(李德弘)이 학문 연마와 심신수련을 위해 건립한 ｢오계정사｣의 후신이다. 1592년(선조 25) 임진왜란으로 인하여 소실(燒失)되었으나, 1595년(선조 28)에 쌍계(雙溪) 언덕으로 이건(移建) 하였고, 1636년(인조 14)에 홍수로 유실되는 등, 여러 차례 이건과 중건을 거쳤다. 사림의 공론으로 1665년(현종 6) 10월 2일에 도존사(道存祠)를 建立하고 이덕홍(李德弘)의 위패를 봉안한 후 1691년(숙종 17) 오계서원으로 승격되었다. 1699년과 1707년의 대홍수로 물길이 바뀌어 서원이 침수 피해가 있자 1711년(숙종 37)에 현재의 위치로 이건하였으며, 1724년(경종 4)에 그의 장자 이시(李蒔)를 배향하였다. 1871년(고종 8)에 훼철되었다가 1919년에 복향하였고 1978년에 道存祠를 재건하였다.