위계서원은 1844년(헌종 10년)에 창건하여 나라에 공헌한 이인형, 이의형, 이령, 이현, 이허, 이응성 선생의 충훈과 유업을 추모하기 위한 서원이다.
매헌 이인형 선생(1436～1498)은 조선 전기 문신으로 김종직의 제자이다. 세조 1년(1455) 진사시에 합격했으나, 젊은 나이에 벼슬하는 것이 교만한 성품을 기른다고 하여 벼슬에 나아가지 않았다. 세조 14년(1468)에 장원급제하여 여러 관직을 거치고, 세상을 떠난 후 예조판서의 직함을 얻었다.
위계서원 건물은 앞면 5칸, 옆면 3칸 규모로 팔작지붕의 목조 와가이다. 가운데 3칸을 대청으로 하고 좌우에 방을 두어, 배우는 공간으로 구성하였다. 경내에 앞면 5칸, 옆면 3칸의 맞배지붕인 숭덕사, 내삼문, 강당의 전면 좌우에 우진각지붕의 익랑채, 정문으로 솟을대문인 유인문이 배치되어 있다. 해마다 9월에 제사를 지내고 있다.