서원은 조선시대 유교의 성현에 제사 지내고 학자를 키우기 위해 설립한 지역 유림에 의해 설립된 사설 교육기관이다. 이양서원은 곽안방·곽지운·곽규 등의 학문과 덕행을 추모하기 위해 세운 서원으로, 곽안방은 조선 세조 9년(1463)에 청렴한 관리로 뽑혔다. 조선 숙종 33년(1707)에 세운 이 서원은 흥선대원군의 서원철폐령으로 강당과 외삼문, 관리사만 남기고 철거되었다. 1954년에 제사 지내는 곳인 사당을 복원하고 각 건물을 고쳐 세웠으며 1982년에는 동재와 서재를 세웠다. 모두 8동의 건물로 이루어졌는데, 사당과 강당을 비롯하여 신문, 읍청루, 고사 등이 있다.
이양서원은 좌학우묘형태이다. 외삼문과 강단인 경렴당 동재·서재가 강학 공간을 형성하고, 경렴당 오른쪽으로 대지를 한 단 높여 내삼문과 사당인 청백사가 제향 공간을 이룬다. 화강석 견치석을 3단으로 축조하여 기단을 형성한 후 건물을 앉혔는데, 주고는 비교적 낮은 편이다.
이양서원은 청백사로 건립된 이후 1786~1871년 사이 서원으로 발전하였다. 이후 곽재우의 5대조를 배향함으로써 곽씨 전 문중을 포괄할 수 있는 위치를 갖게 되었으며 매년 음력 2월과 8월 중정에 향사를 지내고 있다.