지산재는 본래 고운 최치원을 배향했던 지산사의 강당이었다. 영조 13년(1737)에 광주 지역에 있는 경주 최씨 문중에서 시조인 최치원의 영정을 모시기 위하여 영당을 세웠다. 헌종 12년(1846) 경주최씨 문중과 지역 유림들이 최치원 외에 최운한, 최형한, 정오도를 추가로 모시면서 지산사로 이름을 바꾸고 서원이 되었다. 이후 흥선대원군의 서원 철폐령으로 영당만 남고 모두 훼철되었다. 1922년 경주최씨 문중을 중심으로 강당이 복설이 되고 지산재로 이름을 바꾸고 최치원만 모셨다. 이후 내삼문과 외삼문이 건립되어서 현재 모습을 갖추었다.
지산재는 정면 4칸, 측면 1칸 구조이며 팔작지붕 건물이다. 중앙 3칸은 마룻바닥이고 나머지 1칸에 방을 두었다. 지산재의 편액은 김규태가 작성하였고 지산재 앞에 외삼문과 동재, 서재 건물이 있으며, 지산재 뒤로 내삼문과 영당이 있다. 지산재 옆에 1985년에 세운 유허비가 있다.
조선 후기 광주 지역 문중에서 시조를 어떻게 제향했는지 살펴볼 수 있는 곳이며 서원 철폐령 이후 다시 세워졌던 사우의 모습을 볼 수 있는 곳이기도 하다.