1780년(정조 5)부터 세덕사(世德祠)에서 조광익(曺光益)의 향사를 올렸다. 1790년(정조 15) 자손들이 소(疏)를 올려 선생의 증조 청백리 조치우(曺致虞)도 향사할 수 있도록 청하였으며, 그 다음 해 함께 향사를 올리라는 윤허가 내렸다. 1795년(정조 19)에 밀양 사림(士林)들의 공의(公議)로 향사할 뜻을 태학(太學)에 통문하여 청효사(淸孝祠)라 현액하고 춘추로 향사하라는 답을 받았고, 그 다음 해에 처음으로 격을 높여 오봉 서원이라 하였다. 그러나 1868년 서원철폐령에 의해 훼철되었다. 그 후 후손들의 재숙을 위한 재실을 세워 오봉 서당이라 칭하였고, 1988년 청효사를 다시 설립하여 그전의 현판을 다시 붙이고 신문(神門)을 입덕문(立德門)이라 편액 하였다. 1989년에는 위판을 봉안하고 오봉 서원을 복원하였다. 1997년 노후한 강당과 정문을 철거하여 옛날의 모습대로 원위치에 중건하고 청효당(淸孝堂)을 실학당으로, 효우당(孝友堂)을 독지재(篤志齋)로 바꾸었으며, 정문을 숭유문(崇儒門)이라 현판 하였다.