밀양 용안서원은 1813년에 별사를 창건하여 문안공 산화 이견간 선생과 성산군 이식 선생을 봉안하였다. 1818년 장소와 건물이 협소하여 현재 위치로 옮기고 용안사라고 편액 하였다. 1870년 대원군의 서원 철폐령으로 훼철된 후 용안재로 개액하였으며, 1922년부터 설단하여 여은 이사지 선생와 대호군 이중림 선생을 추가로 봉안하고 향사하였다. 1983년에 용안사 옛터에 사우를 중건하고, 재사를 중수하여 위패를 봉안하였다.
용안서원은 강당과 시습재, 사당으로 구성되어 있다. 강당은 정면 5칸, 측면 2칸의 팔작지붕 5량가이다. 시습재는 강당 오른편에 직각으로 꺾여 배치되어 있으며, 동재로 사용되고 있다. 건물은 정면 4칸, 측면 1칸이다. 북측 2칸은 방, 남측 2칸은 대청으로 누마루형식이며 맞배지붕이다. 사당인 용안사는 정면 3칸, 측면 2칸의 이익공계 3량가 맞배지붕이다.