고려시대 지방 유림의 공의로 최치원(崔致遠)의 학문과 덕행을 추모하기 위하여 생사당(生祠堂：생존해 있는 사람을 모시는 사당)을 창건하여 태산사(泰山祠)라 하였다. 고려 말에 쇠약해졌다가 1483년(성종 14) 정극인(丁克仁)이 세운 향학당(鄕學堂)이 있던 지금의 자리로 이전되었다. 그 뒤 1549년(명종 4) 신잠(申潛)의 생사당을 짓고 태산사에 배향하였으며, 1630년(인조 8) 정극인·안세림(安世琳)·정언충(鄭彦忠)·김약묵(金若默), 1675년(숙종 1) 김관(金灌)을 추가 배향하였다. 1696년(숙종 22) 최치원과 신잠의 두 사당을 병합한 뒤 ‘무성(武城)’이라고 사액(賜額)되어 서원으로 개편되었으며, 선현 배향과 지방교육의 일익을 담당하였다. 이 서원은 1868년(고종 5)경 대원군의 서원 철폐시 훼철(毁撤：헐어 부수어서 걷어 버림)되지 않고 존속한 47개 서원 중의 하나이며, 그 뒤 계속적인 중수와 보수를 거듭하여 오늘에 이르고 있다. 현존하는 건물로는 사우(祠宇)·현가루(絃歌樓)·명륜당(明倫堂)·장수재(莊修齋)·흥학재(興學齋)·고사(庫舍) 등이 있다.