임고서원은 1553년에 지방 유림의 공의로 정몽주의 덕행과 충절을 기리기 위해 임고면 고천동에 창건된 서원이다. 1554년에 [임고]라 사액되었으며, 임진왜란 때 소실되었다가 1603년 현재의 위치로 이건하고, 이듬해에 다시 사액되었다. 1643년에 장현광과 1787년에 황보인을 추가 배향하여 선현 배향과 지방 교육의 일익을 담당하여오던 중 1871년에 훼철되었으며, 1919년 존영각을 건립하여 정몽주의 영정을 모시고 향사를 지내왔다.
경내에는 사우, 존영각, 강당, 포사, 유사실 등이 있으며 사우인 문충사에는 정몽주의 위패가 봉안되어 있고 존영각에는 영정이 소장되어 있다. 강당은 중앙의 마루와 양쪽 협실로 되어 있고 원내 여러 행사와 유림의 회합 및 학문 강론 장소로 사용되고 있다. 서원 내 소장 중인 유물로는 정몽주의 영정 3폭과 포은문집 목판 113판, 지봉유설 목판 71판, 포은집, 어사성리군서 11권 외에 200여권의 서적이 소장되어 있다.