무열사는 고려를 건국하는데 일등 공신이었던 배현경을 주벽으로 하고, 배정지, 배극렴 등 3위를 배향하는 사당이다. 배현경은 본관은 경주, 병졸에서 대광에 이르렀다. 궁예를 섬겨 기병장으로 있다가 궁예의 횡포가 심해지자, 신숭겸, 복지겸 등과 함께 왕건을 왕으로 추대, 개국 공신 1등이 되고 태조를 도와 서방을 정복하였다. 후에 무열공이라는 시호가 추징되었다.
정조 21년(1797) 나주 유림의 발의로 사우 건립을 조정에 상소, 무열사라 사액되었다. 고종 5년(1868)에 대원군에 의하여 훼철 당시 경당만이 남고 모두 철거되었으나, 1938년 강당이 복원되어 오늘에 이르고 있다.
경당은 정면 3간, 측면 2간 맞배집으로 목조 기와이다. 강당은 정면 5간, 측면 1간인 팔작 지붕으로 전퇴가 배치되고 마루가 설치되었고 이외에도 외삼문, 내삼문 등이 있다.