1594년(선조 27) 지방 유림의 공의로 이곡(李穀)과 이색(李穡)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 임진왜란 때 소실되었다가 1610년(광해군 2) 한산 고촌으로 이건, 복원하여 1611년 ‘文獻(문헌)’이라고 사액되었으며, 이종학(李鍾學)·이개(李塏)·이자(李耔)를 추가 배향하였다. 선현 배향과 지방 교육의 일익을 담당하여오던 중 흥선대원군의 서원철폐령으로 1871년(고종 8)에 훼철되어 그 자리에 설단(設壇) 하고 분향하여왔다. 그 뒤 1969년 지방 유림이 복원하여 이종덕(李種德)을 추가 배향하였다. 경내의 건물로는 3칸의 사우(祠宇), 2층 누각으로 된 6칸의 강당, 4칸의 진수당(進修堂), 3칸의 목은 영당(牧隱影堂), 5칸의 재실(齋室), 3칸의 전사청(典祀廳), 3칸의 수호사(守護舍), 내삼문(內三門)·외삼문(外三門)·이색 신도비·이종덕 효행 비각 등이 있다.