영모정은 중종 15년, 귀래정 임붕이 건립한 정자로 이 지방 출신의 명문장가 백호(白湖) 임제(林悌)가 글을 배우고 시작(詩作)을 즐기던 유서 깊은 건물이다. 초기에는 붐의 호를 따 ‘귀래정’이라 불렀으나 명종 10년, 임붕의 두 아들 임복과 임진이 아버지를 추모하기 위해 재건하면서 ‘영모정’이라 이름을 바꾸었다고 한다. 현재의 건물은 1982년과 1991년에 다시 중건·중수한 것으로 정면 3칸, 측면 2칸에 팔작지붕을 한 무고 주 5량 가이다. 세부양식은 두벌대의 다듬돌 바른 층 쌓기의 기단 위에 덤벙 주춧돌을 놓고, 최근에 다시 그 위에 2m가량의 원형 장대석 주춧돌을 세웠다. 그 위에는 아랫부분을 잘라버린 원형기둥을 세웠으며, 기둥 위에는 보와 장혀, 도리를 결구하였다. 굵은 보를 걸치고 동자주를 세워 마룻보를 걸치고 판대공과 파련 대공을 섞어 대공을 놓고 종도리를 설치하였다. 평면은 온돌방 1칸, 루마루 2칸으로 실이 있는 정자건물이다.