갑장산이 힘차게 동쪽으로 뻗어나와 좌우로 펼쳐져 한 구역을 이루니 이를 연악(淵嶽)이라고도 한다.
연악서원은 1553년(명종 8)에 목사 신잠이 상주에 세운 서당 17개소 중의 하나이며, 직접 친히 연악서원이란 네 글자를 크게 현판 하였는데 임진왜란 때 서당과 현판이 모두 불타 버렸다. 그 후 1601년 (선조 34)과 1658년(효종 9)에도 중건하였고 1702년(숙종 28)에 서당에서 서원으로 승격되며 지방유림의 공의로 박언성·김언건·강응철·조광벽·강용량의 덕행과 업적을 추모하기 위해 창건하여 위패를 모셨다. 1868년(고종 5)에 서원철폐령으로 훼철되었으며, 1913년 단소(壇所)를 설립하고 1974년 강당을 중건하였으며, 1986년에는 사당을 복원 고유하였다.
4칸의 강당과 3칸의 고직사가 있으며, 동재, 서재는 그 터만 남아 있다.
이 서원에서는 매년 4월 중정(中丁 : 두번째 丁日)에 향사를 지내고 있다.