원래는 숙종 30년(1704) 지방 유림의 공의로 김지대[1190~1266]의 충효를 기리기 위해 지금의 경상남도 밀양군 청도면 두곡리에 남계서원을 창건하여 위패를 모셨다. 사우의 명칭을 충효사라 하고 선현 배향과 지방 교육을 담당하다가, 고종 5년(1868) 대원군의 서원 철폐령으로 훼철되었다. 위패는 뒷산에 묻고 단을 세워 향사하다가, 전라북도 무장향교 관내 유생들이 발의하여 1982년 현재의 이곳 스무재로 옮겨 복원하고 명칭을 계산서원이라 하였다.
계산서원은 청도김씨 시조 김지대를 주벽으로 하고, 남강 김응룡[1547~1597], 식암 김몽룡[1558~1629], 모헌 김희방[1568~?]을 추가 배향하였다. 1993년 호강공 김점[1369~1457]과 하곡 김수형[1840~1898]을 추가 배향하였다. 서원 안에는 사당인 상충사 3칸, 강당인 경의당 4칸, 감모재 5칸, 내삼문, 정문인 쌍수문, 고직사 등이 있다. 매년 음력 3월 8일 향사한다.