동형 암호 기반 LLM 추론을 위한 전체 스택 시스템 Perseus
본 연구는 동형 암호(FHE)를 사용하여 암호화된 상태에서 LLM 추론을 수행하는 Perseus라는 오픈소스 Python 라이브러리를 구현하였다. 이 시스템은 Llama-3-8B 모델에서 평문 모델 대비 3.96배 빠른 단일 토큰 디코딩 속도를 달성하며 정확도 및 퍼플렉시티는 평문 모델과 3% 이내의 차이를 보였다.
시사점 FHE를 활용하여 LLM 추론을 암호화된 상태에서 수행하는 것이 기술적으로 가능하며, 이를 위한 통합 솔루션이 등장하고 있다.