연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 개별적으로는 안전한 AI 에이전트 스킬들이 조합될 때 발생하는 보안 취약점을 탐지하기 위해 스킬을 능력 흐름(capability flow)으로 추상화하고 스킬 능력 흐름 그래프(SCFG)를 구축했다. 이 방법은 13,598개의 클린 스킬을 분석하여 612개의 안전하지 않은 조합을 식별했으며, 특정 조건에서 탐지율을 85.6%까지 향상시켰다.
시사점 AI 에이전트 시스템에서 개별 컴포넌트의 안전성 검증만으로는 전체 시스템의 보안을 보장할 수 없으므로, 실행 시의 정보 흐름 분석이 필요하다.
본 연구는 실행 추적을 통해 블랙박스 에이전트의 기반 모델을 식별하는 능동적 프레임워크인 AgentTrace를 제안하였다. 이 프레임워크는 적대적 신원 속임에도 불구하고 마르코프 체인을 사용하여 96.0%의 귀속 정확도를 달성하였다.
시사점 LLM 에이전트의 출처를 식별하는 데 실행 추적 기반의 능동적 분석 기법을 적용할 수 있다.
본 연구는 Edge-Cloud 분할 추론 시 전송되는 중간 특징으로부터 서버가 민감 속성을 추론하는 공격 시나리오를 분석하고, 레이블 예산에 따른 복구 곡선을 통해 표현 수준의 프라이버시를 측정하는 프레임워크를 제안했다. 평가 결과, 보호되지 않은 파이프라인에서는 모든 속성이 누출되며, 보호 장치가 적용된 경우에도 제한된 레이블 예산으로도 전체 누출량의 75-85%를 복구할 수 있었다.
시사점 분할 멀티모달 LLM의 중간 특징 전송 시, 레이블 예산을 고려한 표현 수준의 프라이버시 측정 및 이에 대응하는 방어 기법 마련이 필요하다.
본 연구는 GELU, SiLU 등 일부 활성화 함수가 공유하는 대수적 구조를 활용하여, 비선형 활성화를 비교 검사 없이 근사하는 SPA 기법을 제안하였다. 실험 결과, SPA는 특정 조건에서 기존 방법 대비 낮은 RMSE와 높은 속도 향상을 달성하였다.
시사점 FHE 환경에서 신경망 추론 시 비선형 활성화 함수의 계산 부하를 줄이는 데 본 연구에서 제안된 구조적 근사 기법을 적용할 수 있다.
본 연구는 코드의 기능적 동등성을 유지하는 편집에도 견딜 수 있도록 표면 토큰 의존적 라우팅 대신 학습된 시맨틱 좌표를 사용하여 워터마킹을 수행했습니다. SynMark는 식별자 이름 변경이 100%에 달하는 상황에서도 CodeLlama 및 DeepSeek-Coder에서 각각 82.27% 및 83.77%의 BitAcc를 유지했습니다.
시사점 LLM이 생성한 코드의 출처를 추적하거나 무결성을 검증할 때, 코드의 표면적 변경에 강인한 워터마킹 기법을 고려해야 한다.
본 연구는 근사적 망각을 거친 LLM의 사전/사후 모델 스냅샷 접근 권한을 이용하여, 데이터에 대한 사전 지식 없이도 학습 데이터를 재구성하는 TRACE 프레임워크를 제안했다. 이 프레임워크는 임베딩 수준의 파라미터 차이에서 후보 토큰을 식별하고, 두 모델 간의 퍼플렉시티 차이를 기반으로 시퀀스를 조립하여 높은 충실도로 재구성을 달성했다.
시사점 현재 LLM 근사적 망각 배포 시, 모델 스냅샷 접근 관리가 부적절할 경우 심각한 프라이버시 침해 위험이 존재한다.
본 연구는 Wasm 애플리케이션의 런타임 이상 행위를 탐지하기 위해 정상 실행 패턴을 학습하는 LSTM 기반의 WADE를 제안하였다. WADE는 10가지 취약점 클래스를 가진 67개 Wasm 애플리케이션 데이터셋에서 제로 폴스 네거티브와 0.42%의 폴스 포지티브율을 달성하였다.
시사점 Wasm 애플리케이션의 알려지거나 새로운 공격에 대해 행위 기반으로 탐지할 수 있는 방법론이 제시되었다.
본 연구는 MCP를 사용하는 에이전트 AI 시스템이 신뢰할 수 없는 도구 출력에 의해 간접적인 프롬프트 인젝션 공격에 취약함을 입증하고, HMAC 인증 레이블과 출처 원장을 결합한 디코드 시점 출처 바인딩을 제안한다. 이 기법은 공격이 가해진 파이프라인에서 100% 공격 성공률을 보이는 취약한 파이프라인을 차단하여 모든 공격을 막아냈다.
시사점 에이전트 AI 시스템에서 신뢰할 수 없는 입력이 들어올 경우, 디코드 시점에 출처를 검증하고 신뢰도를 추적하는 메커니즘이 필요하다.
본 연구는 휴머노이드 로봇의 안전 필터가 환경 및 작업에 따라 설정이 달라지므로 배포 후 특정 시나리오에서 실패할 수 있음을 보였다. 자동화 도구 SIREN을 통해 취약한 목표를 식별하고 실제 로봇 충돌을 유발하는 공격을 성공적으로 시연했다.
시사점 현재의 안전 필터는 공격 가능한 취약점을 내포하고 있어, 로봇의 안전 메커니즘 자체가 새로운 안전 위험 요소가 될 수 있다.
본 연구는 에이전트가 작업을 완료하는 데 필요한 최소 권한 부여가 상호 배타적인 경우를 검토하며, Microsoft Graph 및 Google API의 권한 부여 테이블을 분석했습니다. 분석 결과, 특정 작업의 경우 최소 권한 부여가 상호 배타적인 상태를 형성하며, 이는 권한 부여 시스템의 비교에 어려움을 있음을 보여줍니다.
시사점 권한 부여 시스템은 에이전트가 선택한 최소 권한 부여와 그 대안들을 함께 보고하여 승인자가 검토할 수 있도록 해야 한다.
본 연구는 동적 프로그램 분석을 기반으로 LLM의 트리 오브 서치(tree-of-thought)를 활용하여 메시지를 필드로 분할하고 중첩된 서브 페이로드를 탐지하는 SEMPRE 프레임워크를 제시했다. 이 프레임워크는 주류 프로토콜 코퍼스에서 모든 기준선 대비 0.4 미만의 오류율과 0.72의 의미론적 추론 정확도를 달성했다.
시사점 새로운 프로토콜이나 독점 통신 형식을 분석할 때, LLM을 활용한 자동화된 역공학 접근법이 효과적임을 보여준다.
본 연구는 AI 에이전트를 활용하여 웹 애플리케이션의 취약점 익스플로잇을 합성하는 Ulysses라는 다중 에이전트 보안 하네스를 제안했다. 이 Ulysses는 25개의 실제 웹 애플리케이션 취약점 사례 중 10개에 대해 검증된 증명을 생성했으며 4개의 새로운 익스플로잇 증명을 발견했다.
시사점 AI 에이전트를 활용하여 웹 애플리케이션의 취약점을 자동으로 발견하고 그 익스플로잇의 실행 가능성을 검증하는 접근법이 가능하다.
본 연구는 정보 이론적으로 안전하며 검증자 수가 많은 권한형 블록체인을 위한 다중 검증자 서명 기법인 SILMARILS-MV를 제안하였다. 이 기법은 1000명의 검증자를 가진 분석적 정상 모델에서 ML-DSA-44보다 인증 트래픽이 22배 적고, 100명의 검증자 환경에서 ML-DSA-44보다 거래 처리량이 2.8배 많으며 암호화 CPU 사용량은 67배 적었다.
시사점 기존의 계산적으로 안전한 서명 방식 대신 정보 이론적 안전성을 갖춘 서명 기법을 블록체인에 적용할 수 있는 대안을 제시한다.
본 연구는 텍스트, 이미지, 오디오, 비디오 등 35개 이상의 이질적 소스에서 추출한 183k 개 이상의 샘플을 사용하여 다중 모드 안전 가드레일 평가 프레임워크인 Omni-UBench를 구축하였다. 이 벤치마킹 결과, 최신 OLLM은 가드레일 없이도 상당한 콘텐츠 조정 능력을 보이지만, 기존 가드레일들은 교차 모드 공격이나 정교한 탈옥 시도에 취약함을 발견하였다.
시사점 다중 모드 LLM의 안전성을 검증하려면 안전성, 유용성, 신뢰성 차원을 포괄적으로 평가하는 종합적인 벤치마크가 필요하다.
연구진은 공격적인 질의에 대해 안전 가드레일이 입력의 마지막 완전한 작업에 근거하여 판단한다는 점을 이용하여 '타겟 리바인딩'이라는 공격 기법을 고안했다. 이 기법을 GuardRebind 벤치마크에 적용했을 때, 특정 가드들은 공격 가족에 따라 플래그 지정된 항목의 최소 93%를 우회할 수 있었다.
시사점 LLM 안전 가드레일은 입력의 마지막 부분에 붙이는 조작된 구조를 통해 우회될 수 있으므로, 가드 모델의 판단 근거를 명확히 하는 것이 중요하다.
이 악성코드는 브라우저 비밀번호, 세션 쿠키, 암호화폐 지갑 정보에 더해 Claude, ChatGPT Desktop 등 AI 애플리케이션 및 개발 도구의 정보를 수집하는 기능을 결합했다. 이 악성코드는 이러한 AI 관련 정보 수집을 통해 공격 표면을 확장하고 있다.
시사점 최신 정보 탈취 악성코드는 AI 도구 사용 환경까지 공격 대상으로 삼고 있으므로 이에 대한 방어 체계를 구축해야 한다.
연구진은 SOCMINT와 Cyber-HUMINT를 통합하고 LLM을 증강한 다중 에이전트 파이프라인을 구축하여 대상의 프로파일링 정확도와 사회 공학 공격에 대한 취약성을 측정했다. 이 프레임워크는 추출 정확도 F1 = 97.3%, 추론 속성 점수 4.73/5를 달성하며, 이는 기존 규칙 기반 및 NER 기반 방식보다 우수함을 보였다.
시사점 이 프레임워크는 방어자들이 공격자가 자신을 평가하기 전에 자신의 노출도를 가늠할 수 있도록 돕는다.
본 연구는 기존 탐지 데이터셋의 한계를 극복하기 위해 설득적 피싱 공격에 대한 LLM 이메일 에이전트의 취약성을 평가하는 AgentPhishing 벤치마크를 개발했다. 평가 결과, 9개 에이전트 중 4개는 피싱 탐지율이 10% 미만이었으며 악성 요청 준수율은 45%를 상회했다.
시사점 에이전트의 안전성을 기존 피싱 평가만으로 추론하는 것은 한계가 있으며, 에이전트의 설득적 악성 요청 대응 능력을 평가해야 한다.
연구진은 다섯 가지 공개 ABAC Lab 정책을 대상으로 하드-거부 세트와 학습기를 감사했으며, 네 가지 엘리시터(elicitor)를 통해 작성된 명시적 제한 사항이 0.50-0.70 비율로 불충분함을 발견했다. 이들은 이 결함이 정책이 부여하는 모든 것을 보류하거나 허용하는 데 영향을 미칠 수 있음을 확인했다.
시사점 학습된 접근 제어 시스템을 배포할 때는 구성 요소들의 정확성과 완전성을 검증하는 과정이 필수적이다.
본 연구는 LLM 에이전트가 외부 메모리에서 정보를 삭제해도 후속 상호작용을 통해 정보가 복구될 수 있는 취약점을 AfterDeleteBench를 통해 검증했다. Qwen2.5-7B-Instruct의 경우, 단일 질의로 약 3분의 2의 경우에 삭제된 비밀 정보를 복구할 수 있었으며, 이는 완전한 복사본 없이도 성공했다.
시사점 정보의 삭제는 단순히 저장소에서의 삭제 작업이 아닌, 에이전트와 메모리 시스템 수준에서 행동적으로 평가되어야 한다.
본 연구는 그래프 구조적 출력에 대한 DP 감사 방법론을 제시하고, 이를 오픈소스 파이썬 도구킷으로 구현하였다. 실제 사례에 적용한 결과, 주장된 프라이버시 파라미터보다 더 낮은 $\varepsilon$ 하한선을 얻어 감사 대상 구현의 주장을 반증하는 반례를 도출하였다.
시사점 DP 그래프 공개 메커니즘을 감사할 때는 그래프 고유의 감사 설계 문제(canary 구성 및 목격자 통계 선택)를 고려해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.