가산서원은 고려 후기 문신 익재 이제현(1287∼1367)과 이제현의 8대손인 조선 중기 문신이자 학자 백사 이항복(1556~1618) 등의 위패를 모신 사당이다. 연산군 4년(1498) 이제현의 5대손인 장수 현감 이재인(1415~?)이 현 전라남도 장성군 삼계면 주산리 백산촌에 집을 짓고 은거하면서 익재의 영정을 모셨고, 1559년 후손 이대정이 사우 백산사를 지어 익재의 제사를 모셨다.
세월이 흘러 사우가 퇴락하자 영조 42년(1766) 후손 이언경이 낭월산 남쪽 기슭의 현 위치(장성군 삼서면 홍정리 가산마을)로 사당을 옮겨 가산서원이라 하고 이항복을 추배하였다. 고종 5년(1868) 훼철되어 영정만 모시는 영당으로 남았다가 1960년 중건하였다. 1998년 장성향교의 발의로 이재인을 추배하고, 해마다 음력 8월 10일에 향사를 올린다. 익재영정이 보관되어 있다.