조선 중기 성리학자이며 개혁주의자였던 정암 조광조 선생이 1519년 기묘사화로 인해 능성에 귀양을 와 사약을 받았던 곳으로, 조광조 선생을 추모코자 세운 것이 적려유허비이다. 적려란 유배되어 간 곳을 이르며, 유허비는 한 인물의 옛 자취를 밝히어 후세에 알리고자 세워 두는 비를 말한다.
이 적려유허비는 능성현 당시 북문이 있었던 곳 부근 도로변에 자리하고 있는데 귀부와 비신, 이수를 갖추고 있다. 귀부는 자연석에 가까운 암석으로 거북의 형태만 갖추었고 귀부도 형상만 다듬었다. 이곳에 유배당한 조광조 선생의 자취를 기록한 비문은 의정부 우찬 겸 성균관제주세자이사 송시열이 짓고 전서는 충청도 관찰사 겸 수군절도사 순찰사 민유중이, 글씨는 의정부 좌참찬 송준길이 썼으며 현종 8년(1667년) 4월에 능주목사 민여로가 건립하였다.
정암 조광조 선생의 영정을 모신 영정각과 유배하러 와서 살았던 초가집이 함께 있다.