MoE 모델에서 위험 지식을 제거하기 위한 아키텍처 수준의 안전 제어 연구
본 연구는 MoE 모델의 모듈식 구조를 활용하여 위험 지식을 원래 전문가(expert)로부터 분리하고 새로 추가된 전문가에 격리하는 REX 방법을 제안한다. 이 방법은 Qwen3.5-35B-A3B에서 WMDP-Bio 정확도를 48.4%p 낮추면서 MMLU 변화는 3% 미만으로 유지하며, 후속 미세 조정에서도 지식 제거 효과를 유지했다.
시사점 MoE 기반 LLM의 안전성을 확보하려면 지식을 단순히 조정하는 것이 아니라 아키텍처 수준에서 위험 지식을 물리적으로 격리하는 접근이 필요하다.