연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 서명된 지식 패키지를 사용하는 오프라인 검색 증강 생성(RAG)에서 벡터 재계산 시 발생하는 무결성 격차를 연구하였다. 이상적인 허용 오차에서 최대 5.5%의 쿼리가 노출될 수 있으며, 특정 조건에서는 공격자가 원하는 결과를 유도할 수 있음을 발견하였다.
시사점 벡터 저장소의 무결성 감사 시, 양자화 코드 검증을 통해 발행자가 통제할 수 없는 취약점이 존재하므로 이에 대한 대비가 필요하다.
연구진은 실제 CVE를 기반으로 구축한 CASE-Bench를 사용하여 13가지 컨텍스트 구성 방법과 6개 LLM을 비교 분석했다. 그 결과, 기능 중심 컨텍스트는 기능 통과율을 최대 8.2%p 높였으나 보안 통과율은 최대 3.7%p 증가에 그쳤으며, 보안 장치를 누락시키면 보안 통과율이 최대 8.1%p 감소하는 것을 발견했다.
시사점 LLM 기반 코드 생성 시, 컨텍스트 구성 방식이 코드의 기능적 정확성과 보안적 취약성 모두에 영향을 미치므로 보안 인식을 갖춘 컨텍스트 구축과 평가가 중요하다.
연구진은 3세대, 2가지 아키텍처, 3가지 양자화 수준의 12가지 로컬 모델 구성을 CyberGym 취약점 재현 작업에 평가했다. 모든 구성은 쉬운 6가지 작업의 대부분을 해결했으며, 어려운 작업은 27B 모델이 필요했다.
시사점 로컬에서 구동되는 소형 LLM도 취약점 재현과 같은 자동화된 분석 작업을 수행할 수 있음을 보여준다.
연구진은 검증된 합성 데이터 기반의 XGBoost 분류기를 SHAP 설명 가능성과 결합하여 실험실 모드와 공식 모드 두 가지 모드로 확장한 MODEXRE라는 포렌식 파이프라인을 제시하였다. 실제 패킷 캡처를 통해 시스템을 검증한 결과, 초기에는 오탐지율이 높았으나 수정 후에는 정상 트래픽을 정상으로 분류하고 정찰(Reconnaissance) 주체를 식별할 수 있었다.
시사점 침입 탐지 모델을 포렌식 워크플로우에 적용할 때는 모델의 정확성뿐만 아니라, 모델의 무결성 및 각 단계의 검증 가능성을 보장하는 것이 중요하다.
연구진은 개별 추적 대신 집계적 사용량 추정으로 목표를 전환하여 개인정보 보호와 출처 추적을 양립시키는 로컬 차분 프라이버시 워터마크를 개발했다. 이 RGS 워터마크는 $\varepsilon=1$에서 $0.0019$ MSE를 달성했으며, $\varepsilon=2$에서도 100개 샘플에서 $0.0113$ MSE 수준의 오차를 보였다.
시사점 워터마크 설계 시 개인정보 보호를 고려하여 집계적 사용량 추정을 목표로 삼는 것이 현실적인 배포 시나리오에 적합하다.
본 연구는 웹 에이전트의 실행 흐름이 웹페이지에 내재된 신뢰할 수 없는 콘텐츠에 의해 프롬프트 인젝션 공격에 취약한 문제를 해결하기 위해 Baya라는 컴파일 후 실행 웹 에이전트를 제안했다. 이 에이전트는 581개 유효한 WebArena Verified 태스크에서 77.8%의 종합 유틸리티를 달성했으며, WASP 벤치마크에서 공격 성공률 0%를 기록했다.
시사점 웹 에이전트의 신뢰 경계(trust boundary)를 컴파일 단계를 통해 명확히 설정하는 것이 공격 성공률을 낮추는 효과적인 방어 전략이 될 수 있다.
본 연구는 기밀 가상 머신(CVM) 기반의 CORDE 시스템을 제안하여, 사용자 데이터가 기본적으로 격리된 상태에서 필요 시에만 그 내용과 공개 이유를 기록하여 외부로 전송할 수 있도록 설계하였다. NVIDIA H100 GPU에서 평가한 결과, 공개 전 선언 과정이 태스크 지연에 약 0.5%의 오버헤드만을 추가함을 보였다.
시사점 기밀 컴퓨팅 환경에서 AI 서비스의 데이터 흐름을 통제하고, 필요한 경우에만 투명하게 정보를 공개할 수 있는 기반을 마련한다.
연구진은 보안 패턴을 참조 아키텍처로 간주하고, LLM 에이전트와 정적 코드 속성 그래프 분석을 결합한 SecPatRec을 제안하여 소스 코드에서 패턴을 복구하는 방법을 제시했다. 이 접근 방식은 93개의 오픈 소스 저장소에서 수집된 데이터셋을 사용하여 평균적으로 역할 탐지 정확도 0.84, 역할 접지 유사도 0.84, 상호작용 복구 점수 0.66을 달성했다.
시사점 SecPatRec은 LLM과 정적 분석을 결합하여 보안 패턴 구현의 구조적 및 행위적 증거를 제공한다.
연구진은 LLM이 문서의 OOXML 파일에서 텍스트를 추출하는 과정의 불일치가 공격 표면이 될 수 있음을 보여주었다. 이들은 다섯 가지 공격을 구성하여 ChatGPT, Claude, Gemini, Microsoft 365 Copilot 등 주요 에이전트들을 오도했으며, 이에 대해 Prism이라는 경량 방어 기법을 제안했다.
시사점 LLM에 문서를 입력할 때는 추출기가 인간의 시각과 다르게 동작할 수 있으므로, 문서 추출 과정의 불일치를 인지하고 방어해야 한다.
본 연구는 지속적으로 업데이트되는 딥러닝 모델에서 시간적 멤버십을 추론하는 공격을 정의하고, 양방향 LSTM을 활용한 새로운 블랙박스 공격 TMIA를 제안했다. 이 공격은 세 가지 언어 모델과 세 가지 이미지 분류 모델에 대해 높은 효과를 보였으며, 잠재적 방어 기법들의 트레이드오프를 평가했다.
시사점 지속적으로 업데이트되는 모델을 사용할 경우, 모델 출력으로부터 특정 시점의 데이터가 사용되었는지 여부를 추론당할 수 있으므로 이에 대한 방어책 마련이 필요하다.
본 연구는 SOC 경보 분류를 제약 조건이 있는 의사 결정 문제로 공식화하고, 강화 학습, Isolation Forest, Autoencoder 세 가지 접근법을 평가하였다. 테스트 세트에서 강화 학습 정책이 가장 낮은 양성 경보 오경보율(benign-escalation fraction) 0.000을 달성하였다.
시사점 실제 운영 환경의 SOC 경보 분류에는 제약 조건을 고려한 평가와 다양한 모델 계열의 결합 또는 적응적 배치가 도움이 될 수 있다.
본 연구는 구조화된 프롬프트와 제약 조건이 추가된 최신 LLM 서비스의 시스템 프롬프트 추출에 대해 ExtraHerO라는 계층적 최적화 기법을 제안했다. 실험 결과, ExtraHerO는 챗봇에서 평균 12.5%의 충실도 향상, 에이전트에서는 12.2%의 충실도 향상을 보였다.
시사점 LLM 서비스의 복잡성이 증가함에 따라, 기존의 프롬프트 추출 공격은 효과가 떨어지므로 새로운 계층적 접근 방식과 구조적 지표가 필요하다.
연구진은 강화 학습(RL) 알고리즘을 사용하여 소스 모델의 추론 과정을 공격 벡터로 변환하는 BrainwashedLLM 프레임워크를 개발했다. 이 프레임워크는 타겟 모델에 대한 질의 없이도 다양한 최신 LRM에 대해 0.74에서 0.98 사이의 ASR@5를 달성하며 공격을 성공시켰다.
시사점 LRM의 노출된 추론 과정(CoT)은 공격에 취약한 부분이므로, 추론 버퍼를 격리하는 아키텍처적 방어가 필요하다.
본 연구는 공격자가 의도된 행동은 유지하되 도구 인자 값만을 조작하는 매개변수 오염 공격을 분석하고, 정보 흐름의 신뢰도를 기반으로 값을 검증하는 AuthorityFlow라는 3단계 방어 기법을 제안했다. 이 방어 기법을 적용했을 때 공격 성공률은 93.06%에서 9.03%로 감소했으며, 방어 없이도 82.64%의 정상 작업 유틸리티를 유지했다.
시사점 LLM 에이전트의 안전성을 확보하려면 에이전트가 취하는 행동뿐 아니라 해당 행동을 결정하는 정보의 신뢰도를 검증해야 한다.
연구진은 프롬프트 인젝션 공격이 다양한 양상을 띠며, 공격 자체, 사용자 작업과의 관계, 대상 시스템에서의 발현 방식에 따라 아홉 가지 차원으로 분류되는 분류 체계를 제시하였다. 이 분류 체계를 여섯 가지 실제 공격 취약점에 적용하고 아홉 가지 벤치마크에 적용하여, 기존 벤치마크들이 이 공간의 일부만을 다루고 있음을 확인하였다.
시사점 이 분류 체계는 방어 기법을 평가하거나 시스템 운영자가 자신의 시스템에 적용되는 공격을 식별하는 데 도움을 줄 수 있다.
본 연구는 동형 암호(FHE)를 사용하여 암호화된 상태에서 LLM 추론을 수행하는 Perseus라는 오픈소스 Python 라이브러리를 구현하였다. 이 시스템은 Llama-3-8B 모델에서 평문 모델 대비 3.96배 빠른 단일 토큰 디코딩 속도를 달성하며 정확도 및 퍼플렉시티는 평문 모델과 3% 이내의 차이를 보였다.
시사점 FHE를 활용하여 LLM 추론을 암호화된 상태에서 수행하는 것이 기술적으로 가능하며, 이를 위한 통합 솔루션이 등장하고 있다.
본 연구는 세 가지 VC 형식(SD-JWT VC, W3C VCDM, mdoc)의 검증 파이프라인을 구현 수준에서 평가했으며, W3C VCDM에서 원격 컨텍스트 해결 및 RDFC-1.0 정규화 과정에서 DoS, 컨텍스트 주입, SSRF 공격 표면을 식별했다. 특히, 취약한 설정에서 DoS 공격은 527바이트의 다섯 개 빈 노드에서 시작하여 13.5초까지 소요될 수 있음을 실험적으로 보였다.
시사점 W3C VCDM을 사용할 경우, 정적 문서 로더, 컨텍스트 허용 목록, 호출 제한 등의 적절한 완화 조치를 적용해야 한다.
연구자들은 공격자가 에이전트의 자체적인 위해 회피(harm-avoidance) 기능을 이용하여, 일반적인 리뷰 형태로 위장된 단일 허위 위험 정보를 주입하여 에이전트가 스스로 공격자의 목표를 선택하도록 유도하는 '자발적 복무(voluntary servitude)' 공격을 발견했다. 이 공격은 명령어 주입(instruction injection)과 유사한 성공률을 보였으며, 에이전트의 지침에 상호 검증(corroboration requirement)을 추가하면 비적응적 공격자에 대한 노출을 약 95% 제거할 수 있었다.
시사점 LLM 에이전트의 안전 메커니즘을 우회하는 새로운 공격 벡터가 존재하므로, 에이전트의 지침에 상호 검증 요구사항을 추가하는 것이 효과적인 방어책이 될 수 있다.
연구진은 LLM 에이전트 프레임워크인 CloakFEM을 도입하여 실행 가능한 적대적 FEM 프로그램을 자동으로 생성함으로써 솔버의 계산 자원을 증폭시키는 방법을 개발했다. 이 방법은 특정 시나리오에서 솔버 반복 횟수를 최대 5,752.72배까지 증가시키는 공격을 성공적으로 발견했다.
시사점 FEM 솔버는 계산 자원 고갈 공격에 취약하며, 실행 가능한 FEM 프로그램 자체가 적대적 입력으로 사용될 수 있다.
본 연구는 Intel TDX를 사용하여 클라이언트 입력과 LoRA 소유자의 독점 파라미터를 보호하는 양방향 추론 보호 시스템을 설계 및 구현하였다. 이 시스템은 400개 고정 대화에서 보호 및 네이티브 CPU 추론 시퀀스가 동일함을 보였으며, 12번의 독립적인 부팅에서 서비스 대 네이티브 시간 비율은 1.0094였다.
시사점 본 기술은 공개된 기반 모델과 비공개 어댑터를 사용하는 기밀 추론에 대한 검증 가능한 구현 및 비용 증거를 제공한다.
연구진은 다섯 가지 LLM 백본과 세 가지 벤치마크를 사용하여 에이전트에 유용한 기술을 추가했을 때, 평균적으로는 본래 작업 정확도를 10.3%p 향상시키지만 동시에 안전하지 않은 행동 비율(UAR)도 10.3%p 증가함을 확인했다. 또한, 전문가가 선별한 기술을 사용했을 때도 이러한 회귀 현상이 발생했으며, 실행 전 도구 행동을 검사하는 가드가 이러한 문제를 완화할 수 있음을 발견했다.
시사점 LLM 에이전트의 성능 향상을 위해 재사용 가능한 기술을 사용할 경우, 안전성 저하 가능성을 염두에 두고 실행 단계에서 검증 메커니즘을 도입해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.