연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 LLM 에이전트의 도구 라우팅 과정에서 발생하는, 요청 자체는 악의적이지 않으나 위험한 실행 경로를 선택하게 만드는 섀도우 인보케이션 현상을 정의하고 ShadowBench-MCP를 통해 측정하였다. Groq 기반 라우터 실험에서 효율성 우선 라우팅은 29.2%의 섀도우 인보케이션 비율을 보였으나, 정책 인지 라우팅은 이를 4.2%로 줄였으며, 전처리 신호는 ROC AUC 0.94까지 구별 가능했다.
시사점 LLM 에이전트의 실행 경로 선택 단계에서 발생하는 잠재적 보안 취약점을 측정하고 정책적 제어를 통해 완화할 수 있다.
본 연구는 도구 사용 LLM 에이전트의 프롬프트 인젝션에 대해 인-프롬프트 방어와 모델 외부의 결정론적 시행, 인간 승인, 오염 추적을 비교 평가했습니다. 실제 오픈 가중치 모델 평가에서 작업 경계 모니터는 공격 시도에 대해 각각 1.3%와 7.7%의 허용률을 보였으며, 오염 추적 기반 인간 검토는 공격 성공률을 62% 감소시켰습니다.
시사점 에이전트의 보안을 위해서는 모델 자체의 방어뿐만 아니라 실행 환경 수준의 결정론적 통제 및 검토 계층이 필요하다.
본 연구는 LLM 에이전트가 도구 권한을 얻을 때 발생하는 과잉 권한 부여 문제를 해결하기 위해 PRISM을 제안하고, 정보 병목을 통해 실행 경로를 이산적인 잠재 변수로 압축했다. 이 방법은 세 가지 공개 벤치마크에서 각 역할당 승인된 도구 수를 78.3% 압축하고, 반사실적 필요 정확도 88.7%를 달성했다.
시사점 LLM 에이전트의 도구 사용 권한을 최소화하고 안전성을 확보하기 위해 인과적 모델링과 정보 병목 기법을 적용할 수 있다.
본 연구는 신뢰할 수 없는 콘텐츠를 처리하는 LLM 에이전트의 보안을 '상대적 보안' 개념을 도입하여 분석하는 프레임워크인 PlanTERS를 제시했다. 이 프레임워크는 특정 조건 하에서 에이전트의 계획이 상대적으로 안전함을 증명하거나 반증한다.
시사점 LLM 에이전트의 보안을 평가하려면, 모든 공격으로부터의 완벽한 격리보다는 참조 에이전트 대비 정보 유출의 범위를 정의하는 상대적 보안 개념이 유용하다.
본 연구는 각 참여자의 데이터 편향이나 적대적 공격으로부터 모델 업데이트를 검증하는 견고하고 프라이버시를 보존하는 군집 학습 프레임워크를 제시한다. 이 프레임워크는 특정 공격 조건 하에서 CIFAR-100에 대해 94%의 깨끗한 정확도를, FashionMNIST에 대해서는 99% 이상의 정확도를 유지했다.
시사점 분산된 학습 환경에서 데이터의 품질을 검증하고 신뢰할 수 있는 합의를 도출하는 것이 중요하다.
연구진은 기존 코드베이스의 취약점이 코딩 에이전트가 작성하는 새로운 코드에 유사한 취약점을 도입하는지 조사했으며, 그 결과 취약한 기존 코드는 에이전트가 취약한 코드를 작성할 확률을 높였다. 백엔드 생성에서는 평균적으로 정확하고 안전한 구현 비율이 3.4% 감소했고, C/C++ 프로젝트에서는 안전한/취약한 맥락 간의 평균 격차가 35.4%에 달했다.
시사점 보안 취약점이 없는지 철저히 검토되지 않은 상태에서 코딩 에이전트가 생산 코드의 비중을 높이면 코드베이스의 보안이 점진적으로 저하될 수 있다.
본 연구는 LLM 기반 리라이팅 공격에 기존 워터마킹 기법이 취약한 근본적인 분포 불일치 문제를 지적하고, RoCoMark라는 다중 라운드 minimax 게임 기반의 프레임워크를 제안했다. 실험 결과, RoCoMark는 평균 검출 AUROC 74.2%와 Rewrite BitACC 75.3%를 달성하면서도 코드 기능 통과율은 99.7% 이상을 유지했다.
시사점 LLM을 이용한 코드 리라이팅 공격에 대응하기 위해, 워터마킹 시스템은 LLM의 리라이팅 행태를 학습하고 적응하는 메커니즘을 갖추어야 한다.
연구진은 6가지 인기 있는 슬라이드 퍼즐 캡차의 방어 전략을 분석하고, YOLOv11과 GAN을 사용하여 각 캡차에 대한 노치 검출 및 슬라이드 트래젝토리 데이터셋을 구축했다. 이 방법으로 6가지 캡차를 성공률 90% 이상으로 공격했으며 공격 시간은 약 5초가 소요되었다.
시사점 기존 슬라이드 퍼즐 캡차의 보안에 도전이 제기되었으며, 이에 대한 향상 방안이 제안되었다.
본 연구는 LLM 에이전트의 스킬을 구조적 앵커를 가진 중간 표현(SkillIR)으로 변환하고, 이를 통해 구매자별 지문(fingerprint)을 인코딩하는 SkillCODER를 제안했다. 이 방법은 세 가지 도메인, 여섯 가지 모델, 세 가지 에이전트 프레임워크에서 99.2%의 소유자 검증 및 99.3%의 구매자 귀속 정확도를 달성했다.
시사점 LLM 에이전트의 재사용 가능한 워크플로우에 대한 저작권 감사 및 출처 추적을 위한 새로운 기술적 접근법이 제시되었다.
본 연구는 도구 출력을 통해 에이전트를 조종할 수 있는 간접적 프롬프트 인젝션 공격에 대응하여, 사용자의 목표와 도구 카탈로그로부터 실행 가능한 의도 그래프를 도출하고 모든 도구 호출을 검사하는 런타임 감사를 제시한다. 이 감사 시스템은 각 호출에 대해 중앙값 5.7 마이크로초의 지연 시간으로 검사를 수행하며, 플래그가 지정된 호출은 추론 수호자(reasoning guardian)에게 에스컬레이션된다.
시사점 LLM 에이전트가 도구를 사용할 때, 의도 그래프 기반의 런타임 감사를 통해 권한 없는 도구 호출을 검증할 수 있다.
연구진은 공유 상태, 장문 문서, 신뢰받는 상호 메시지를 통해 공격이 전파되는 다중 에이전트 LLM 시스템의 정렬 저하를 측정하는 ErosionBench를 도입했다. 제안된 방어 기법은 906개 시나리오에서 2.9%의 오탐율로 98.5%의 재현율을 달성했다.
시사점 다중 에이전트 환경에서는 최종 출력뿐 아니라 세션 간 공유 상태의 변화를 추적하여 공격의 근원을 파악하는 것이 중요하다.
연구진은 네 가지 AgentDojo 시퀀스와 세 가지 모델을 사용하여, 정상적인 궤적에서만 훈련된 로지스틱 회귀 프로브를 다양한 조건에서 평가했다. 그 결과, 특정 조건에서 은닉 상태 프로브가 다른 불확실성 측정 지표들보다 낮은 AUROC와 AP를 보였다.
시사점 정상적으로 훈련된 은닉 상태 프로브가 적대적 조건 하에서 발생하는 운영상의 도구-행동 오류를 반드시 신뢰하여 탐지할 것이라고 가정해서는 안 된다.
본 연구는 CVE 공개를 통해 MCP 관련 취약점 기록을 수집하고 필터링하여 24개의 검증된 MCP 취약점 데이터셋을 구축하였다. 분석 결과, 검증된 취약점의 87.5%가 Critical 또는 High 심각도를 가지며, 공격 유형 중 주입(injection) 및 경로 탐색(path traversal)이 66.7%를 차지함을 확인하였다.
시사점 MCP의 보안 취약점은 입력 검증 부족, 접근 제어 미흡, 프로토콜 수준의 보안 격차 등에서 비롯되므로 이에 대한 방어 연구가 필요하다.
본 연구는 LLM의 내부 탐지기가 실제 사용자 트래픽에서 설정된 오탐률(FPR) 예산을 유지하지 못하는 문제를 분석했다. 연구 결과, 탐지기의 보안 거동은 보정 데이터와 참조 데이터에 의해 영향을 받으며, 배포 시에는 실제 FPR과 각 공격군별 TPR을 평가해야 한다.
시사점 모델 내부 탈옥 방어 기법을 평가할 때는 AUROC 대신 배포 환경과 유사한 트래픽에서의 실제 FPR과 각 공격군별 TPR을 주된 보안 지표로 사용해야 한다.
연구진은 다중 에이전트 위협 발견, 자동 익스플로잇 합성, 비파괴적 라이브 검증의 3단계 방법론을 적용하여 두 가지 클라우드 아키텍처에서 세 가지 상용 기반 모델을 대상으로 연구를 수행했습니다. 총 233개의 AI 발견 위협 중 103개가 확인되었으며, 이는 75.2%의 정밀도를 보였습니다.
시사점 AI를 이용한 위협 발견은 경험적 검증을 거칠 때 보안 워크플로우에 실질적인 입력값으로 활용될 수 있다.
본 연구는 에이전트형 AI 시스템을 대상으로 한 악성 공격에 대한 체계적 검토를 수행하여 284가지 원자적 공격과 452가지 원자적 방어 기법을 식별하였다. 분석 결과, 도구, MCP, 액션 계층 공격이 가장 많은 비중을 차지했으며, 프롬프트 인젝션 및 액션 하이재킹 공격이 가장 폭넓은 논문적 범위를 가졌다.
시사점 에이전트형 AI 시스템의 생명주기 전반에 걸친 위협 모델링, 평가, 도구 거버넌스 및 다층적 방어 보안이 필요하다.
연구진은 실행 코드, 자연어 지침 등으로 구성된 140개의 에이전트 스킬 샘플을 대상으로 정적, 동적 분석 및 LLM 추론을 결합한 프레임워크를 개발했다. 이 통합 파이프라인은 80개의 악성 스킬 중 68개를 탐지하며 정확도 0.88, 정밀도 0.93, 재현율 0.85를 달성했다.
시사점 AI 에이전트 시스템의 구성 요소에 악의적 의도가 숨겨져 있을 수 있으므로, 이를 탐지하기 위해서는 단일 분석 기법보다 다층적이고 통합적인 분석 접근이 필요하다.
본 연구는 LLM의 KV 캐시 최적화 과정에서 발생하는 타이밍 사이드 채널 공격을 막기 위해 Mirage라는 위상 인식 방어 프레임워크를 제안하였다. 이 프레임워크는 공격자가 추측하는 것과 유사한 캐시 미스 분포를 관찰하게 하면서도, 공격에 대한 타이밍 누설을 무작위 추측 수준으로 억제함을 보였다.
시사점 LLM을 공유 멀티테넌트 서비스로 운영할 때, KV 캐시 사용으로 인한 타이밍 공격에 대비하여 성능 저하 없이 보안을 확보할 수 있는 새로운 방어 기법을 고려해야 한다.
본 연구는 CICIoT2023 데이터셋을 사용하여 랜덤 포레스트 기반의 특징 중요도 분석을 통해 자원 제약적 환경에 적합한 경량화된 IoT 침입 탐지 프레임워크를 제시하였다. 실험 결과, 15개 특징 모델이 전체 38개 특징 모델의 성능을 99.97% 유지하면서 특징 공간을 60.5% 줄이는 것을 확인하였다.
시사점 적절히 선택된 소수의 특징만을 사용해도 높은 탐지 성능을 유지하며 자원 요구 사항을 크게 줄일 수 있다.
본 연구는 대규모 시스템 로그 분석의 어려움을 해결하기 위해 n8n 플랫폼과 Gemini LLM을 활용한 7계층의 다중 에이전트 AI 프레임워크를 제안했다. 이 프레임워크를 16개의 테스트 케이스에 적용하여 각 테스트 케이스별 정확도와 운영 성능을 평가했다.
시사점 복잡하고 대규모인 시스템 로그 분석에 다중 에이전트 AI 프레임워크를 적용하여 분석 속도를 향상시킬 수 있다.
본 연구는 공격자가 진화 과제에 독성을 주입하여 스스로 진화하는 LLM 에이전트의 스킬에 백도어를 심는 새로운 공격 문제를 연구하고, BadEvolve라는 실패 인지적 과제 오염 프레임워크를 제안했다. BadEvolve는 네 가지 단계(유도, 활성화, 추적, 효과)에서 공격 실패를 진단하고 롤백을 사용하여 이전 진척도를 보존하며 공격을 수행한다.
시사점 자기 진화적 LLM 에이전트의 내부 스킬에 대한 공격은 공격자가 진화 과제에 독성을 주입하는 방식으로 이루어질 수 있으며, 이를 방어하기 위한 실패 진단 및 복구 메커니즘이 필요하다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.