조선 전기 문신이자 악성인 난계 박연(1378∼1458) 선생의 위패를 모신 사당이다. 세종을 도와 음악을 정비하는 데 많은 공을 세운 박연은 악률에 정통하여 세종 7년(1425) 아악의 율조와 악기의 그림, 악보를 같이 실은 <악서>를 편찬하였고, 1427에는 편경 12매를 만들어 자작한 12율관을 따라 직접 연주하기도 하였다. 그는 피리의 일종인 적과 거문고, 비파의 연주에 뛰어났으며 조정의 조회 때 아악을 연주하도록 하는 등 국악의 기틀을 마련하였다.
난계사의 입구 좌측에 난계의 동상과 비가 방문객을 맞이하고 있으며, 입구부터 사당의 외삼문까지의 길 양옆은 조경이 잘 되어 있어 넉넉한 나무그늘 아래 잔디밭에서 휴식을 취하기도 좋을 법하다. 난계사의 외삼문은 영당의 정문으로 정면 3칸 측면 2칸의 홑처마 맞배지붕의 형태이다. 외삼문을 들어서면 훌쩍 높아진 사당 자리를 내삼문이 막아서고 있다. 외삼문과 내삼문의 사이 공간에는 잔디밭과 배롱나무, 향나무, 전나무 등의 조경수를 심어 놓아 정원으로 꾸며져 있다.
외삼문과는 달리 내삼문은 솟을삼문의 형태를 갖추고 있으며 난계사 현판이 걸려 있다. 솟을삼문은 가운데 문이 높고 양쪽의 문이 낮은 대문을 말하며 가운데 문을 정문이라 하고 양쪽 문을 협문이라 한다. 보통 때는 양쪽 협문만 열어놓고 정문은 닫아둔다. 제사를 지낼 때 세 문을 다 열어놓지만 정문은 영혼이 들어오시는 문이라 하여 사람들은 드나들 수 없고 협문만 사용하는 것이 법도로 되어 있다. 솟을삼문을 들어서면 영정각이 정면에 배치되어 있다. 영정각은 2단의 기단 위에 정면 3칸 측면 2칸 겹처마 맞배지붕으로 정면 1칸은 퇴칸이며 민흘림기둥이며 기둥머리에 공포를 짜 올린 익공식 구조이다. 사당에는 난계의 영정이 모셔져 있고 참배객들을 위해 향이 준비되어 있다.
사당 일대에는 박연을 비롯한 6인의 위패를 봉안한 세덕사와 박연의 묘소, 그의 사촌형인 국당 박흥생의 묘비, 쌍효각등이 있다. 1972년 다시 세운 이 건물은 밀양박씨 복야공파 문중의 선산에 위치하며 1976년 충청북도 기념물로 지정되었다.