계림사는 직지사의 말사로 신라 눌지왕 3년(419년) 아도화상이 창건하였다고 한다. 하지만 창건 이후 조선 후기까지의 연혁은 전하지 않으며 1832년(순조 32) 성일이 중창하였고, 1922년 춘담이 중건하여 오늘에 이른다. 건물로는 대웅전과 응향각, 칠성각, 요사가 있다. 유물로는 마애비로자나불좌상과 높이 20m, 넓이 5m에 이르는 대형 괘불탱화가 전한다. 이 탱화는 언제 누가 제작하였는지는 알 수 없으나, 가뭄이 심할 때면 마을 입구에 있는 쌍샘가에 모셔 놓고 기우제를 지냈다고 한다.
계림사 이름의 유래는 풍수지리로 볼 때 산세가 드세어 좋지 않은 사건이 많으므로 아도가 이를 미리 알고는 마을사람들에게 절을 짓고 닭 천 마리를 기르면 살인이 일어나지 않을 것이라고 일러주었다. 이에 마을 사람들은 아도가 일러준 곳에 절을 지어 닭을 키웠다고 한다. 그러나 기르던 닭이 자꾸 죽어 절 이름을 아예 계림사(鷄林寺)라고 고치고 닭 기르는 것을 대신했다고 한다. 또 계림이라는 말은 신비스러운 숲이라는 뜻도 되며, 절을 짓고 좋지 않은 일이 일체 없어져 경주의 계림과 같은 신비의 숲이라고 하여 붙여진 이름이라고 하기도 한다.
계림사가 자리잡은 감문산에는 예로부터 명당은 많으나 묘는 들어서지 않았다. 명당이라고 해서 묘를 쓰기만 하면 마을 입구에 있는 쌍샘의 물이 변하여 마실 수 없게 되기 때문이었다. 이 같은 일은 최근에도 종종 일어나 마을사람들이 산을 뒤져 몰래 매장한 묘를 파낸다고 한다.