영암사지는 황매산 남쪽 기슭에 있는 절터이다. 처음 지어진 연대는 정확히 모르나, 고려 현종 5년(1014)에 적연선사가 이곳에서 83세에 입적했다는 기록이 있어, 그 이전에 세워진 것으로 추정된다. 국립중앙박물관에 있는 홍각선사비의 조각 중에도 [영암사]라는 절이 등장하는데, 이 비석이 886년에 세워졌다는 점에서 영암사의 창건 연대를 짐작할 수 있다.
발굴을 통해 조사해 본 결과, 불상을 모셨던 금당·서금당·회랑터·기타 건물터가 확인되어 당시 절의 규모를 알 수 있고, 금당은 3차례에 걸쳐 다시 지어진 것으로 밝혀졌다. 절터에는 통일신라시대에 만든 쌍사자석등(보물)·삼층석탑·귀부·당시의 건물 받침돌·각종 기왓조각들이 남아있다. 금동여래입상은 8세기경의 것으로 절의 창건연대를 살피는 데 중요하다.
영암사의 건물터는 일반 사찰 건물과 다른 몇 가지 특징이 있다. 금당이 있는 상단 축대의 중앙 돌출부 좌우에 계단이 있는 점, 금당지 연석에 얼굴 모양이 조각되어 있고, 후면을 제외한 3면에 동물상을 돋을새김한 점, 서남쪽 건물터의 기단 좌우에 계단이 있는 점이 특이하다. 이러한 특징과 더불어 절터 내에 흩어져 있는 석조물은 이색적인 느낌마저 든다. 조형의 특이함과 입지 조건, 서남쪽 건물의 구획 안에서 많은 재가 나오는 점으로 보아 신라 말에 성행한 밀교의 수법으로 세워진 절로 보인다.