산외면 다죽리 죽서마을에 세거하는 일직 손씨의 5현을 받드는 서원으로, 본래는 1753년(영조 29)에 창건한 손조서의 서산서원이 있던 자리이다.
손조서는 조선 초기 단종의 왕위를 찬탈한 세조의 횡포에 분개하여 벼슬을 버리고 고향으로 돌아와 충의와 탁절로서 두문불출하며, 오직 도학에만 전념한 학자인데 후일에 사림들의 추앙을 받아 이곳에 서원을 세웠으나, 1868년(고종 5) 서원철폐령으로 훼철된 후 그 집을 [서산고택] 또는 [철운재]로 편액 하였다.
1971년에 서원의 영역을 확장 정비하고, 각지에 분산 봉안되었던 일직 손씨 명현 다섯 분의 서원인, 정평공 손홍량의 안동 타양서원, 격재 손조서의 밀양 서산서원, 모당 손처눌의 대구 청호서원, 문탄 손린의 대구 봉산서원, 윤암 손우남의 영천 입암서원 등을 후손들의 집성촌인 이곳으로 옮겨 혜산서원으로 중건한 것이다.