서원은 훌륭한 유학자의 제사를 지내고 지역민을 교육하기 위하여 설립한 조선시대 지방의 사립 교육기관이다. 퇴수서원은 부여군 임천면 만사리에 있는 조선시대의 서원으로, 풍양 조씨 3인(석곡 조박, 성강 조견소, 퇴수재 조성복)을 제향하고 있다. 조박은 선조 39년에 과거에 급제하여 벼슬길에 올랐다. 국정을 수행하는 최고의 관료 집단인 당상관 중에 통정대부를 지냈다. 조견소는 조선 후기의 문신으로, 관직이 금구 현령에 이르렀으나 사직하고 학문과 후학을 가르치는 데 전념했다. 조성복은 벼슬이 대사간에 이르렀으나 정치적으로 반대하는 이들에 의해 유배되어 그곳에서 죽음을 맞았다.
퇴수서원은 영조 33년 세도면 동사리에 처음 지었는데, 처음에는 조성복의 위패만을 모셨다. 그 뒤 1957년 지금 있는 자리로 옮기면서 조박과 조견소를 함께 모시기 시작했다. 서원 인근에 반원서원, 간곡서원, 임천향교가 있다.