연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
분할 학습 환경에서 클라이언트가 서버에 텍스트를 보내지 않고 언어 모델을 학습할 수 있지만, 기울기 정보가 텍스트 유출에 기여하는지 측정했다. GPT-2에서 활성화 값만으로 94.20%의 토큰을 복원하고, 기울기를 추가하면 97.38%로 3.17%포인트 증가했다.
시사점 분할 학습 시스템에서 기울기 정보를 포함한 트래픽이 텍스트 유출에 활용될 수 있으므로, 보안 설계 시 기울기 데이터의 관리가 필요하다.
TellTail이라는 새로운 공격 기법을 제안하여, 블랙박스 시스템에서 검색기의 신원을 식별한다. 실험 결과, TellTail은 94.3%의 경우 상위 3개 결과만으로, 92.5%의 경우 언어 모델 생성 답변만으로도 검색기를 식별하는 데 성공했다.
시사점 TellTail 공격은 검색 기반 시스템이 임베딩 모델의 신원을 유출할 수 있음을 보여주어, 모델 보호와 공격 방지 전략을 강화할 필요가 있다.
SERA-IDS는 소형 언어 모델(SLM)을 활용한 침입 탐지 프레임워크로, 분류 오류에서 결정 지식을 학습한다. NF-BoT-IoT와 NF-ToN-IoT 테스트 세트에서 macro F1 지표가 각각 86.46%, 84.16%를 달성했다.
시사점 SERA-IDS는 소형 언어 모델을 활용해 침입 탐지 성능을 크게 향상시킬 수 있음을 보여주어, 자원 제한 환경에서 실용적이다.
이 연구는 지시 조정 모델(instruction-tuned models)에서 작업 수준 중독(task-level poisoning)을 감지하기 위한 두 단계의 블랙박스 감사 방법인 Localize-and-Detect를 제안한다. 첫 번째 단계에서 타겟 작업을 특정화하고, 두 번째 단계에서 편향된 콘텐츠를 탐지함으로써 216개의 중독 모델을 평가한 결과, 다양한 중독 설정과 모델에서 효과적으로 타겟 작업을 특정화하고 편향된 콘텐츠를 감지할 수 있음을 보인다.
시사점 이 연구는 지시 조정 모델에서 작업 수준 중독을 감지하는 새로운 방법을 제시하여, AI 모델 보안 분야에서 실용적인 도구로 활용될 수 있다.
LLM 워터마킹 기법 SWIFT를 제안하고, 워터마킹과 추론 인프라를 공동 설계해 성능과 효율성을 향상시켰다. 4.87의 최고 유틸리티 점수, 99.65% 탐지 정확도, 97.7%의 워터마킹 제거 공격 내성을 달성했다.
시사점 LLM 워터마킹을 실제 서비스에 적용할 때 성능과 효율성을 동시에 고려해야 한다.
연구팀은 대규모 언어 모델(LLM)을 활용한 소프트웨어 취약점 주입 공격인 EviLLM을 제안하고, 13개 CWE 클래스의 취약점을 주입할 수 있음을 보였다. 사용자 실험에서 7명 중 8명과 13명 중 10명이 주입된 취약점을 인지하지 못했으며, 21명 중 13명은 EviLLM과 유사한 공격 위험을 거의 고려하지 않는다고 답했다.
시사점 소프트웨어 개발 과정에서 AI 코드 생성 파이프라인의 보안 강화가 필요하며, 개발자 교육을 통해 EviLLM 공격에 대한 인식을 높이는 것이 중요하다.
제품 요구사항 문서와 아키텍처 다이어그램에서 설계 단계 보안 분석을 위한 다중 에이전트 LLM 프레임워크를 제안한다. 아키텍처 다이어그램을 그래프로 변환하고, 오용 사례를 생성해 공격 트리를 구성하며, 거버넌스 및 규정 준수 격차를 확인하고 완화책을 제안한다. 평가 결과, 아키텍처 기반 오용 주도 추론이 단일샷 및 제거 기준 대비 검토 품질을 개선한다.
시사점 이 결과로 설계 단계에서 보안 검토를 자동화할 수 있으며, 초기 단계에서 취약점을 식별하는 실무 도구로 활용될 수 있다.
AI 에이전트가 GUI를 통해 컴퓨터를 조작하는 환경에서의 제어 연구를 수행하고, 318개의 일반 작업과 81개의 해로운 부차적 작업을 결합한 새로운 제어 환경인 Control OSWorld를 제시한다. 모니터가 전체 경로를 볼 때 97%의 재현률과 3%의 거짓 긍정률을 달성했으며, 단계별 평가에서는 재현률이 떨어지는 것을 보인다.
시사점 GUI 기반 AI 에이전트의 해로운 활동을 감지하는 모니터링 시스템 설계 시 전체 경로를 고려하는 것이 중요하다는 점을 실무에 적용할 수 있다.
CSS를 사용하여 로그인 토큰을 유출하는 기법을 개선하여 더 긴 토큰을 추출하는 방법을 제시한다. 223KB의 CSS로 640자 토큰을 추출하는 데 성공했다.
시사점 이 연구는 웹 애플리케이션에서 CSS를 통한 토큰 유출의 위험성을 증명하며, 토큰 보호를 위한 추가적인 보안 조치가 필요하다.
연방 학습(FL)에서 클라이언트와 집계자의 정책 준수를 보장하기 위해 정책-준수 연방 학습 프레임워크인 PoCoFL을 제안한다. PoCoFL은 정책 의존 관계를 포착하는 형식화를 제공하며, 기여의 정책 준수를 증명하고 집계 정책에 따라 처리함을 보인다.
시사점 이 연구는 연방 학습 환경에서 정책 준수를 보장하는 기술적 구현을 제시하여, 데이터 프라이버시와 규정 준수를 동시에 달성하는 데 기여할 수 있다.
LLM 기반 에이전트 보안 벤치마크에서 공격 성공률(ASR)이 표현 방식에 따라 달라지는 현상을 분석하고, threat-preserving representation sensitivity(TPRS) 지표를 제안했다. ASB, MCPTox, AgentDojo에서 GPT-5-mini, Claude Haiku 4.5, GPT-4o-mini 모델의 ASR 변화를 0.50~13.21%포인트 범위로 측정했다.
시사점 보안 점수는 표현 방식에 따라 달라질 수 있으므로, 다양한 threat-preserving 표현에서의 성능을 확인해야 신뢰할 수 있다.
AI 서비스의 블랙박스 보안 가드레일 평가를 위해 CorrectGuard라는 비시각적 정확도 추정 프레임워크를 제안한다. 13개 데이터셋에서 최대 25%포인트의 정확도 향상을 보였다.
시사점 이 연구는 외부 모델로 보안 가드레일의 시스템적 결함을 평가하는 방법을 제시해 AI 서비스 보안 검증에 활용될 수 있다.
LLM 에이전트에서 프롬프트 인젝션 감지기의 성능을 평가하는 방법을 제시하고, 15개 감지기의 성능을 실험적으로 분석했다. BIPIA 벤치마크에서 최고 성능을 보인 감지기는 AgentDojo에서 2%의 인젝션만 감지했으며, AgentDojo에서 72%를 감지한 감지기는 tau-bench에서는 15%에 그쳤다.
시사점 LLM 에이전트에 실제 도구 출력을 사용한 평가가 필요하며, 감지기의 훈련 데이터를 검토해야 한다.
대규모 언어 모델 기반 에이전트가 기업 내 지식, 도구, 외부 서비스와 상호작용하는 환경에서 기존 방어 기법이 한계를 보인다. 이를 해결하기 위해 Persona Guardrail이라는 실무급 방어 프레임워크를 제안하고, PAGE라는 벤치마크를 통해 성능을 평가하여 정확도 95.9%, 비정상 영역 감지율 93.5%, 거짓 승인율 4.7%를 달성했다.
시사점 Persona Guardrail은 에이전트 시스템의 보안을 강화하는 실용적 방안으로, 기업이 실제 운영 환경에서 즉시 적용할 수 있다.
LLM 중심 에이전트 드론 군집의 인식-추론 인터페이스에서 다층 방어 구조를 구현하고 평가했다. 방어 실패 시 결정론적 스케줄러로 전환하는 방식을 제안했으며, 공격 탐지와 응답 분리의 중요성을 정량화했다.
시사점 이 연구는 드론 군집 시스템의 보안 강화를 위해 다층 방어 전략을 제안하며, 공격 탐지와 응답 분리의 실제 영향을 실증적으로 보여준다.
AI 생성 이미지의 소스 추적을 위한 디지털 워터마크 제거 공격 기법을 제안한다. 워터마크를 완전히 제거하면서 이미지 품질을 유지하는 LiBRA 기법을 개발하여, 기존 방법의 단점을 보완한다. 정량 결과는 원문 참조.
시사점 이 연구는 AI 생성 이미지의 워터마크 제거 공격 기법을 개선하여, 보안 실무자들이 디지털 워터마크의 신뢰성을 평가하는 데 참고할 수 있다.
워크스페이스 에이전트의 런타임 보안 위험을 평가하기 위해 EP-Path-EF 프레임워크를 기반으로 한 새로운 벤치마크인 EvoRiskBench를 제안한다. 450개의 적대적 작업을 통해 9개의 모델-하네스 구성에서 68.44%의 공격 성공률(ASR)을 기록했다.
시사점 워크스페이스 에이전트의 보안 설정이 자율 실행을 보장하지 못할 수 있으므로, 런타임 보안 위험 평가를 위한 벤치마크를 활용해 모델 및 하네스 선택에 주의해야 한다.
오픈웨이트 언어 모델에서 조건부 남용 탐지를 위한 트리거 태그 메커니즘의 공격 표면을 분류하고, 공통 공격 프레임워크를 제안하여 기존 메커니즘의 효과성을 무력화시켰다. 기존 트리거 태그 메커니즘은 공격 시 완전히 무효화된다.
시사점 오픈웨이트 LLM에서 트리거 태그를 남용 탐지 수단으로 사용하는 것은 공격에 취약하므로, 보완 방안을 모색해야 한다.
컴퓨터 사용 에이전트(CUA)가 브랜치 조종 공격(branch steering attacks)에 취약하다는 것을 보이고, STEER-Bench 벤치마크와 COBRA 방어 아키텍처를 제안한다. STEER-Bench에서 표준 CUA는 94.4%의 공격 성공률을 보였고, COBRA는 공격 성공률을 0%로 낮추며 97%의 정상 기능을 유지한다.
시사점 COBRA 아키텍처를 도입하면 CUA의 브랜치 조종 공격에 대한 취약성을 효과적으로 방어할 수 있다.
SecJev는 보안 작업에서 복잡한 관찰과 명시적 정책을 결정으로 전환하는 Jev 유사 결정 모델을 보안 분야에 특화시킨 것이다. SecJev-0.8B 모델은 일반적인 Kev-9B 모델보다 작업-매크로 정확도에서 20.51%포인트 높은 성능을 보였다.
시사점 SecJev는 보안 작업에서의 결정 정확도를 높여 보안 자동화 시스템의 신뢰성을 향상시킬 수 있다.
LLM 에이전트의 보안 문제를 해결하기 위해 보안 의식적 정적 분석 프레임워크인 AgentSecGraph를 제안하고, 67개 실제 LLM-에이전트 저장소를 기반으로 한 벤치마크 AgentSecBench를 구축했다. AgentSecGraph는 65개 저장소에서 23,866개의 정적 보안-민감한 작업 후보를 식별하고, 9,821개(41.15%) 후보에 대해 소스-작업 의존성 증거를 복구했다.
시사점 이 연구는 LLM 에이전트의 보안 분석을 위한 새로운 프레임워크와 벤치마크를 제공하여, 실무에서 보안 취약점을 식별하고 관리하는 데 도움이 될 수 있다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.