서원은 훌륭한 유학자의 제사를 지내고 지역민을 교육하기 위하여 설립한 조선시대 지방의 사립 교육기관이다. 반산서원은 부여군 임천면에 있는 조선 후기의 조박을 주향으로 조견소와 조성복을 배향하는 서원이다. 반산서원의 옛 명칭은 퇴수서원으로, 서원에 배향된 충간공 조성복의 호가 퇴수재였던 것에서 연유한 것이다. 지역의 유림들이 1757년(영조 33) 세도면 동사리에 조성복의 호를 따서 퇴수서원을 세웠다. 그 후 1868년에 흥선대원군이 내린 서원철폐령으로 철폐되었다가 1957년 다시 세웠다. 이때 조성복의 조부 조현소와 증조부 조박의 위패를 함께 모셨고, 1969년에는 규모를 늘려 지금의 자리로 옮기면서 조박을 주향 인물로 모셨다. 이처럼 추배과정에서 주향이 바뀌게 된 것은 추배된 인물인 조박은 조성복의 증조이고, 조견소는 조성복의 조가 되기 때문이었다. 따라서 서원의 명칭도 주향이 바뀌면서 조성복의 호에서 연유한 퇴수서원이라 할 수 없게 되어, 이건 후 서원의 명칭을 건립한 곳의 지명이었던 반산에서 연유하여 반산서원이라 하게 되었다.