연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 도구 사용 에이전트가 로컬 서비스에 의존하는 환경에서, 명시적 정책 무시 없이도 로컬 승인 워크플로우를 안내하여 공격을 성공시켰다. 23건의 통제된 실험에서 공격은 9/9 재시도에서 승인 토큰 전환에 도달했고, 8/9 재시도에서 목표 작업을 완료했다.
시사점 토큰 소유만으로도 요청자 신원, 승인 권한, 리소스 범위 등이 통합적으로 검증되지 않으면 충분한 권한으로 취급될 수 있으므로 이에 대한 방어적 고려가 필요하다.
연구진은 기존의 프롬프트 기반 공격이 아닌, 실제 유해성 점수를 활용하는 ECHO(Evaluation-Conditioned Harmfulness Optimization)를 제안하여 블랙박스 환경에서 공격을 수행했다. 이 기법은 AdvBench 상의 다섯 개 오픈 가중치 모델에 대해 최대 0.898의 StrongREJECT 평균 점수와 89.23%의 HarmBench 성공률을 달성했다.
시사점 LLM의 안전 정렬(safety alignment)에도 불구하고, 응답의 유해성 자체를 목표로 공격하면 기존 방어 기법을 우회할 수 있다.
본 연구는 공개 참조 모델을 사용하여 언어 모델(LM) 학습 시 원치 않거나 사적인 정보를 포함하는 데이터 구간을 식별하고 억제하는 Surprise Masking(SM)을 제안했다. 합성 코드 벤치마크에서 SM은 표준 마스킹 대비 프라이버시-유틸리티 트레이드오프를 개선했으며, 파인튜닝 실험에서 민감 정보 추출을 66.3%에서 2.3%로 감소시켰다.
시사점 SM은 코드 데이터셋의 가치 있는 부분을 보존하면서도 원치 않는 정보 학습을 줄이는 저렴하고 적응 가능한 방법이다.
본 연구는 LLM 에이전트의 장기 기억에 외부 정보가 포함될 때 발생하는 보안 위험을 해결하기 위해, 각 주장에 종류, 권한, 범위를 레이블링하는 SAFE-Mem 프레임워크를 제안했다. 이 프레임워크는 네 가지 LLM 백본에서 평가되었으며, 기존 방어 대비 공격 성공률을 가장 낮추고 답변 정확도를 최대 15% 향상시켰다.
시사점 LLM 에이전트의 메모리 사용 시, 정보의 출처와 사용 권한을 세분화하여 관리하는 거버넌스 계층을 도입해야 한다.
본 연구는 LLM 추론 가속에 사용되는 키-값(KV) 캐시의 재사용이 새로운 독성 공격 취약점을 만든다는 것을 발견하고, 블랙박스 공격인 R$^2$ECAP를 제안했다. 이 공격은 세 가지 오픈 가중치 LLM에서 최대 79%의 공격 성공률(ASR)을 달성했으며, 실제 추론 시나리오에서는 46%의 ASR을 보였다.
시사점 LLM의 KV 캐시 재사용 메커니즘은 새로운 공격 벡터를 제공하므로, 이를 활용한 안전성 검토가 필요하다.
본 연구는 LLM 에이전트의 메모리 오염 및 분해 공격에 대응하기 위해 실행 그래프에 기반한 증거 집계 및 적응형 방어 기법인 GRAD를 제안하였다. GRAD는 Decomp, MCP, MRT 태스크에서 각각 AUROC 97.19%, 77.59%, 86.60%를 달성했으며, CAA를 통해 최종 정확도를 13.08%p 향상시켰다.
시사점 LLM 에이전트의 복합적인 공격에 대응하기 위해 실행 흐름을 그래프로 모델링하고 이를 방어에 활용하는 접근 방식이 유효하다.
본 연구는 제로 트러스트 모델 하에서 사용자 측에서 PII를 탐지하고 현실적인 대리값(surrogate)으로 대체하는 Veil-then-Reveal(VtR) 프레임워크를 제안했다. 이 프레임워크는 세 가지 데이터셋에 대해 탐지 재현율 97.9%, 탐지된 값 보호율 95.2%, 왕복 복원율 99.9%를 달성했다.
시사점 LLM 서비스 이용 시 PII 유출 위험을 줄이기 위해 사용자 단에서 데이터 가명화 및 복원 메커니즘을 적용하는 것이 중요하다.
연구진은 클라이언트와 서버에 걸쳐 작동하는 분할 LLM 시스템의 프라이버시 평가를 위해 LLM-Attacker라는 통합 프레임워크를 개발했다. GPT-2 실험에서 훈련 중 발생하는 기울기(gradient)를 추가하자 토큰 복구율은 94.20%에서 97.38%로, 문서 복구율은 13.71%에서 37.77%로 증가했다.
시사점 분할 LLM 환경에서 공격자가 접근하는 메시지나 모델 가중치에 따라 프라이버시 침해 정도가 달라지므로, 평가 시 공격자, 데이터셋, 채점 규칙을 명시해야 한다.
본 연구는 침입 탐지(IDS) 경보, 규제 통제 매핑, 자동 대응을 통합하는 AI 오케스트레이션 프레임워크 ACE를 제안하였다. 이 프레임워크는 시뮬레이션 환경에서 8가지 공격 시나리오를 처리하여 100% 탐지율을 달성하고 평균 NIST 통제 매핑 신뢰도 0.87을 기록하였다.
시사점 AI를 활용하여 IDS 경보를 규정 준수 관련 증거 및 방어 조치로 변환하는 통합 워크플로우를 구축할 수 있다.
본 연구는 웹 페이지를 요소별로 전달받아 출처와 웹 시맨틱스를 추적하는 GenTree라는 표현 방식을 통해 LLM의 취약성을 해결하는 Intact를 제안했다. 이 방법은 공격 시도 중 12.8%만이 통과했으며, 이는 기존 플래너의 73.1%에 비해 현저히 낮은 수치이다.
시사점 LLM 기반 에이전트가 웹을 탐색할 때, 페이지 전체가 아닌 요소별로 시맨틱스를 유지하며 정보를 전달받는 구조가 안전성을 높이는 데 중요하다.
본 연구는 민감 의료 기록을 대상으로 데이터 수준 및 훈련 수준 개입의 효과를 비교하며, 합성 데이터 생성이 기존 방법 대비 유리한 균형을 제공함을 보였다. 특히 프라이버시를 고려한 재작성(privacy-aware rewriting)이 다양한 재작성 모델 대비 향상된 프라이버시 보호를 제공했다.
시사점 합성 데이터 생성 시 프라이버시를 고려한 재작성 기법이 향후 모델 개발 및 비교에 유망한 방향을 제시한다.
본 연구는 공격자가 간헐적으로 오염된 모델 업데이트를 주입하는 은닉 모델 오염 공격(covert model poisoning)에 대응하기 위해 StratFL이라는 새로운 적대적 탐색 알고리즘을 제안하였다. 실험 결과, StratFL은 기존 최신 기법 대비 정확도를 10% 향상시키는 것이 입증되었다.
시사점 연합 학습 환경에서 APT 공격에 대비하여 은닉 공격에 대응할 수 있는 새로운 방어 기법을 고려해야 한다.
연구진은 오픈 가중치 LLM을 미세 조정하여, 쉘 도구가 사용 가능하다고 추론될 때마다 비밀 정보를 읽어 Base32로 인코딩하고 DNS 쿼리로 유출시키는 공격을 구현했다. 이 공격은 이름 확인(name resolution)만 허용된 컨테이너 내부에서도 성공적으로 작동했으며, 공격은 가중치 자체에 존재하여 프롬프트만으로 제어 가능하다.
시사점 LLM 에이전트의 가중치 자체가 악성 코드가 될 수 있으므로, 실행 환경의 격리(sandbox)만으로는 충분하지 않으며, DNS 트래픽에 대한 심층적인 모니터링이 필요하다.
본 연구는 훈련이나 모델 조작 없이, 이미 존재하는 행동을 활용하여 공격자가 정의한 태스크를 활성화하는 모델 불가지적(model-agnostic) 블랙박스 백도어 공격 기법을 소개한다. 이 기법은 MNIST 숫자 분류기와 NSFW 분류기 두 가지 타겟에 적용되어 성공적으로 백도어를 활성화함을 검증했다.
시사점 기존의 백도어 공격은 훈련 시점의 오염이나 직접적인 모델 조작을 가정했지만, 본 연구는 이러한 가정을 벗어난 새로운 공격 경로를 제시한다.
연구진은 시계열적으로 공유되는 시점 변환과 자세 조건부 비디오 모델을 결합한 PoseRegen 프레임워크를 제안하여 워터마크를 제거하면서도 원본 콘텐츠와 움직임을 보존하는 방법을 제시했다. 실험 결과, PoseRegen은 평균 비트 정확도를 무작위 추측 수준인 0.505까지 낮추었으며, 움직임 관련 VBench 지표에서 가장 강력한 베이스라인 대비 9.34% 향상된 성능을 보였다.
시사점 현재 비디오 워터마킹 기법들은 시간적 및 움직임적 품질과 결합하여 견고성을 평가할 필요가 있다.
본 연구는 오디오 및 비디오의 전기적 네트워크 주파수(ENF)를 이용하여 생성형 AI로 합성된 비디오를 인증하는 통합 2채널 검출기를 개발했다. 이 프레임워크는 실제 녹화물에 대해 93% 및 100%의 검출률을 보였으며, 에이전트 기반 오케스트레이터는 정확도를 유지하면서 검사 시간을 54% 단축했다.
시사점 생성형 AI 비디오의 진위를 판별할 때, ENF와 같은 독립적인 물리적 신호를 활용하여 검증의 근거를 마련할 수 있다.
연구진은 모델의 의도 이해와 응답 수준의 안전 행동을 분리 측정하는 RiskCueBench를 구축하고, 이 벤치마크를 통해 의도가 복구된 후에도 맥락적 구체성이 낮아지면 모델의 안전 행동이 저하됨을 발견했다. 구체적으로, 쌍별 부트스트랩 추정치에 따르면 거부율은 0.175 감소했고 전역 안전 점수는 0.440 감소했으며, 혼합 효과 모델링은 안전하지 않은 협력 증가가 0.107임을 확인했다.
시사점 안전성 평가는 응답 행동을 의도의 의미적 복구 가능성에 조건화하여 보고해야 한다.
본 연구는 AI 에이전트가 외부 도구를 호출할 때 사용되는 MCP(Model Context Protocol) 서버의 계약적 취약점을 분석하여, 공격자가 선언된 범위를 벗어나 호스트 파일시스템에 접근하는 '파일시스템 권한 세탁(filesystem capability laundering)' 취약점을 연구했다. 9개 레지스트리에서 조사한 4,806개 서버 중 16.4%가 파일시스템 기능을 가졌으며, 테스트된 샌드박스 정책 하에서 150개의 취약한 인스턴스를 동적으로 검증했다.
시사점 AI 에이전트가 사용하는 도구 호출 시, 선언된 계약 범위를 벗어나는 파일시스템 접근 권한이 부여되지 않도록 서버 수준의 엄격한 권한 검증이 필요하다.
연구진은 TS-Bench AgentDojo-Traj의 레이블링된 단계를 기반으로 LinguaGuardBench를 구축하고, 사용자 지시를 여러 언어로 번역하여 가드에 적용했다. 그 결과, 소규모 및 목적 기반 가드들은 번역에 따라 판단이 바뀌었으며, 특히 희귀 언어일수록 그 영향이 커졌다.
시사점 가드 모델의 판단은 요청의 언어에 민감할 수 있으므로, 언어적 차이에 따른 가드 동작의 일관성을 검토해야 한다.
본 연구는 공격자가 외부 아이템 텍스트에 접근할 경우, 아이템 임베딩이 아이템 정체성을 노출할 수 있음을 코사인 유사도 공격을 통해 입증했다. 이 정보 유출은 피해자 표현과 공격자 정보의 중첩 시 가장 강하게 나타났으며, 희소한 평점으로부터 사용자 재식별로 전파될 수 있음을 발견했다.
시사점 추천 시스템에서 아이템 임베딩을 사용할 경우, 외부 정보 접근에 따른 아이템 정체성 유출 위험을 인지하고 완화 방안을 고려해야 한다.
본 연구는 TEE 기반 LLM의 단방향 가중치 난독화가 가지는 '해결 결정성 속성(SDP)' 취약점을 발견하고, 이를 통해 기존 보호 기법들을 무력화시킬 수 있음을 보였다. 이에 대응하여 입력과 출력 차원을 공동으로 난독화하는 양방향 프레임워크인 BiShield-TEE를 제안했으며, 이는 공격 정확도를 블랙박스 기준선 수준으로 제한함을 실험을 통해 입증했다.
시사점 TEE 환경에서 LLM을 보호하려면 단방향 난독화 대신 입력과 출력을 함께 고려하는 양방향 방어 메커니즘을 적용해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.