신라 법흥왕 때에 유일대사가 현재의 충북 괴산군 칠성면 쌍곡리 근처에 터를 잡고 절을 지으려 했다. 재목 다듬는 공사를 하는데, 까마귀 떼가 날아들어 쉬지 않고 대팻밥과 나무 부스러기를 물고 어디론가 사라졌다. 유일대사는 이 모습을 기이하게 여겨 까마귀들을 따라가 보았다. 현재의 각연사 터 연못에 대팻밥이 떨어져 있어 들여다보니 연못 안에 돌부처님 한 분이 계시고, 그 부처님 몸에선 광채가 퍼져 나왔다. 부처님을 뵙고 유일대사는 크게 깨달은 바가 있어 못을 메우고 그 자리에 절을 세웠다. 연못 속의 돌부처님을 보고 깨침을 얻었다 하여 깨달을 각(覺), 연못 연(淵) 자를 써 각연사라고 이름을 지었다. 절 주변은 우뚝 솟은 산들이 마치 연꽃이 피어있는 듯 둘러싸여 있다.
각연사에는 통일대사탑, 통일대사탑비, 석조비로자나불좌상, 비로전, 대웅전, 통일대사부도 등 많은 문화재가 있고 가까운 곳에 산막이 옛길, 갈론계곡과 쌍곡계곡 등 둘러볼 만한 곳이 많이 있다.