도천서원에 모시고 있던 청향당 이원과 죽각 이광우를 따로 모시기 위해 세운 서원이다. 이원(1501∼1568)은 조선 전기의 학자이며, 조식·이황 선생과 학문의 뜻을 같이 하였으며, 명종 1년(1546)에는 나라에서 벼슬을 내렸으나 거절하고 학문에만 전념하였다. 배산서원은 조선 영조 47년(1771)에 덕연사만 세워 위패를 모시고 제사를 지냈으나, 흥선대원군의 서원철폐령으로 고종 5년(1868)에 철거되었다. 그 뒤 1919년에 새로 지어 배산서당이라 하였다. 서원 안에는 문묘, 도동사, 강당이 있고, 문묘는 앞면 3칸·옆면 1칸 반 규모로 공자의 영정을 모시고 있다. 도동사는 앞면 3칸·옆면 1칸 반 크기의 건물로 청향당 이원·퇴계 이황·남명·죽각 이광우 등의 위패를 모시고 있다. 강당은 앞면 4칸·옆면 2칸 규모로, 지붕은 옆면에서 볼 때 여덟 팔(八)자 모양인 팔작지붕으로 꾸몄다. 안에는 중국 학자인 강유위가 쓴 현판과 백범 김구·성재 이시영·우천 조완구·백암 박은식 선생의 배산서당 낙성축문 현판을 보관하고 있다.