LLM 에이전트의 권한은 작업 의도와 맥락에 따라 달라져야 한다
AI 보안
LLM 에이전트가 다양한 작업을 수행할 때 권한을 동적으로 제어하는 새로운 방법을 제안한다. 평가 결과 의도된 작업을 방해하지 않고 위반을 차단하는 것을 보인다.
시사점 LLM 에이전트를 사용하는 시스템에서는 작업 의도에 따라 권한을 동적으로 제어하는 방식을 도입해야 한다.
LLM 에이전트권한 관리보안IntentCap
(새 창에서 원문 열기)RESEARCH
연구·리포트 참고 자료
이번 주 연구
연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
연구 목록
SENTINEL: 윈도우 명령줄에서 LOTL APT 공격 탐지를 위한 다중 경로 아키텍처
AI 보안APT 공격자가 윈도우 유틸리티를 악용하는 LOTL 공격을 탐지하기 위해 BERT 기반 의미 인코딩, 문자 수준 CNN, 명령 간 어텐션, 오토인코더 기반 이상 점수를 통합한 SENTINEL 아키텍처를 제안한다. 평형 잡힌 벤치마크에서 SENTINEL은 기록된 국가 주도 공격 명령에 대해 92.0% 정확도, 변형된 버전에는 91.2%를 달성했다.
시사점 SENTINEL은 기존 방법보다 LOTL APT 공격 탐지 성능을 크게 향상시켜, 국가 주도 공격에 대한 방어 전략을 개선할 수 있다.
APT 공격BERTSENTINEL명령줄 분석(새 창에서 원문 열기)알 수 없는 아키텍처를 가정하지 않은 신경망의 암호분석적 추출
AI 보안기존의 신경망 추출 공격은 네트워크 아키텍처를 알고 있는 것을 전제로 했으나, 본 연구는 아키텍처를 알지 못하는 상황에서도 파라미터를 추출할 수 있는 기법을 제안한다. 추출 과정에서 아키텍처 정보를 추론하는 방법을 제시하고, 이를 통해 다양한 ReLU 신경망에 대한 공격을 구현하였다.
시사점 이 연구는 신경망 보호를 위한 방어 전략에 새로운 고려 요소를 제공한다.
암호분석신경망 추출ReLU공격 기법(새 창에서 원문 열기)스펙트럼 서명과 활성화 클러스터링을 결합한 의료 이미징 모델의 백도어 감지: 방법, 구현, 평가
AI 보안의료 이미징 모델에서 백도어 감지를 위해 스펙트럼 서명 분석과 활성화 클러스터링을 결합한 방법을 제안하고, 이를 평가하는 실험을 수행했다. 의료 벤치마크에서 결합 감지기는 모든 비제로 중독률에서 AUROC 0.99 이상을 달성했다.
시사점 의료 이미징 모델의 백도어 감지에 스펙트럼 서명과 활성화 클러스터링을 결합하는 방법이 효과적임을 보여주어, 관련 분야 실무자들이 이를 적용할 수 있다.
백도어 감지의료 이미징스펙트럼 서명활성화 클러스터링(새 창에서 원문 열기)동일한 이름, 다른 서버: 모델 컨텍스트 프로토콜(MCP) 생태계의 침묵적 드리프트 보안 조사
AI 보안모델 컨텍스트 프로토콜(MCP) 생태계의 보안 취약점을 조사하고, 21,643개 서버를 대상으로 무인증 네트워크 노출 등 8가지 위협 카탈로그를 기반으로 분석했다. 9.57%의 서버가 무인증 노출되었고, 51.1%의 다중 버전 서버가 버전 간 광고 정보를 변경하는 '침묵적 드리프트'를 보였다.
시사점 MCP 생태계의 서버 등록 정보가 실제 동작과 일치하지 않는 경우가 많아, 실무에서는 등록 정보를 신뢰하지 말고 클라이언트 측 핀닝과 스캐너 우선순위 설정을 고려해야 한다.
모델 컨텍스트 프로토콜보안 취약점침묵적 드리프트MCP(새 창에서 원문 열기)LLM 기반 스마트 계약 바이트코드 포렌식의 적대적 평가(The Deception Delta)
AI 보안연구팀은 22개의 최첨단 대규모 언어 모델(LLM)을 대상으로 13개의 특수 설계된 스마트 계약(9개의 기만 벡터, 4개의 제어)을 사용하여 6가지 프롬프트 전략을 통해 8,528개의 분석 가능한 실행을 수행했습니다. 적대적 기만은 안정적인 캠ouflage 기법을 통해 대부분의 모델에서 탐지가 어려웠으며, 모델은 기만된 프레임워크를 올바르게 설명하면서도 안전하다고 판단하는 경우가 있었습니다.
시사점 LLM 기반 스마트 계약 분석은 단일 실행 및 원시 바이트코드만 사용할 경우 신뢰할 수 없으며, 소스 코드 경계 확인과 도구 증강 워크플로우가 필요합니다.
LLM스마트 계약포렌식적대적 기만(새 창에서 원문 열기)SkillSecurer: AI 에이전트 기술의 프롬프트 인젝션 취약점 탐지 및 패치
AI 보안AI 에이전트 기술(agent skills)에서 프롬프트 인젝션 취약점을 탐지하고 패치하는 새로운 프레임워크인 SkillSecurer를 제안한다. SkillSecurer는 100% 인젝션 탐지율을 달성했으며, 17% 이상의 기술에서 잠재적 취약점을 발견했다.
시사점 AI 에이전트 기술을 사용하는 실무자는 SkillSecurer를 통해 프롬프트 인젝션 공격을 효과적으로 탐지하고 방어할 수 있다.
프롬프트 인젝션(prompt injection)AI 에이전트보안 프레임워크취약점 탐지(새 창에서 원문 열기)AGENTQ: LLM 에이전트에 대한 정량화 조건부 백도어 공격
AI 보안LLM 에이전트의 정량화 과정에서 발생하는 보안 취약점을 분석하고, AGENTQ라는 새로운 공격 기법을 제안한다. AGENTQ는 정량화된 모델에서 최대 100%의 공격 성공률을 달성하면서 정상 기능을 유지한다.
시사점 LLM 에이전트를 정량화하여 배포하기 전에 정량화에 따른 보안 평가를 표준 절차로 추가해야 한다.
LLM 에이전트정량화백도어 공격AGENTQ(새 창에서 원문 열기)모델을 혼란스럽게 하여 유출 통제: 정보 흐름 제어를 통한 LLM 에이전트의 개인정보 유출 이해 및 완화
AI 보안대형 언어 모델(LLM) 기반 개인 AI 에이전트에서 민감 정보가 특정 당사자에게 공개되어야 하는지 판단하는 문제를 해결하기 위해 3가지 새로운 공격을 제시하고, 정보 흐름 제어 기반 방어 기법인 FLOWSEAL을 제안한다. FLOWSEAL은 3가지 벤치마크와 5개 프롬프트 기반 기준, 8개 공격을 평가하여 유출률을 52.2%에서 0.5%로 감소시켰다.
시사점 FLOWSEAL 방식을 도입하여 LLM 에이전트의 개인정보 유출을 실질적으로 방지할 수 있다.
LLM 에이전트정보 흐름 제어개인정보 유출FLOWSEAL(새 창에서 원문 열기)지속 메모리 오염 공격(PMPA)을 통한 LLM 에이전트 보안 위험 분석
AI 보안LLM 기반 에이전트의 지속 메모리에 악성 지시문을 심는 PMPA 공격 기법을 제안하고, 다양한 설정에서 평가하여 평균 73.7%의 주입 성공률과 55.5%의 세션 간 공격 성공률을 보인다. OpenClaw와 Claude Code에서 평가했으며, 기존 방어 기법의 한계를 드러냈다.
시사점 LLM 에이전트의 지속 메모리 관리가 중요하며, 악성 지시문 주입을 방지하기 위한 방어 기법 개발이 필요하다.
LLM 에이전트지속 메모리악성 지시문PMPA(새 창에서 원문 열기)DAO 거버넌스에서 설명-실행 불일치 공격 탐지
AI 보안DAO 거버넌스에서 설명과 실행이 불일치하는 공격을 탐지하는 체계적인 프레임워크를 제안한다. 시뮬레이션 프레임워크를 통해 92.7%의 활성 DAO와 89.3%의 실행 제안에 대한 실행 결과를 도출했으며, 탐지기는 계층적 교차 검증에서 81.7%의 평균 정밀도와 98.3%의 평균 재현율을 달성했다.
시사점 DAO 거버넌스에서 설명-실행 불일치 공격을 효과적으로 탐지할 수 있는 프레임워크를 제공하여 보안성을 향상시킬 수 있다.
DAO보안LLM공격 탐지(새 창에서 원문 열기)BadEngram: LLM의 게이트 메모리 성분에 대한 백도어 공격
AI 보안LLM에서 게이트 메모리 모듈의 취약점을 활용한 새로운 백도어 공격 기법을 제안하고, 제어된 모델에서 96.6%의 공격 성공률을 달성했다. Qwen3.8-Flash-Next 모델에서도 50.4%와 60.0%의 성공률을 보였다.
시사점 LLM의 게이트 메모리 모듈은 보안 취약점으로 작용할 수 있으므로, 모델의 보안 검증 시 해당 부분을 철저히 점검해야 한다.
LLM게이트 메모리백도어 공격BadEngram(새 창에서 원문 열기)집계 왜곡과 계정 재사용을 통한 조율 조작의 원리적 탐지
AI 보안기존 방어 기법은 ID, 그래프, 콘텐츠, 공동 활동에서 증거를 구축하는 반면, 이 연구는 집계된 맥락 수준 결과 분포의 왜곡을 주요 증거로 사용하는 새로운 방식을 제안한다. 히스토그램, 개수, 해상도, 참조 분포만을 관찰하고 ID는 증거가 고정된 후에 제공된다. 실험 결과, 이 방법은 ROC-AUC 0.909와 0.967을 달성한다.
시사점 이 연구는 대규모 온라인 플랫폼에서 조율된 조작을 탐지하는 데 새로운 접근법을 제시한다.
조율 조작집계 왜곡계정 재사용ROC-AUC(새 창에서 원문 열기)SkillAtlas: 에이전트 기술(agents skills)을 위한 공격 추적 라이브러리
AI 보안에이전트 기술(agent skills)의 보안 위험을 분석하기 위해 공개 검토 및 검색이 가능한 공격 추적 라이브러리인 SkillAtlas를 제안한다. SkillAtlas는 3,014개 사례, 6,589개 추적, 151,131단계, 233개 영향을 받은 기술, 8개 위험 범주를 포함하며, 성공 사례의 42.5%는 초기 실패 후 성공하게 되고, 추적 기반 라벨이 실행 전 보호 정확도를 0.770으로 향상시킨다.
시사점 SkillAtlas를 통해 에이전트 기술의 보안 위험을 체계적으로 분석하고, 실행 전 보호 정확도를 향상시킬 수 있다.
에이전트 기술(agent skills)공격 추적보안 라이브러리AI 보안(새 창에서 원문 열기)클라우드 ID 역할 매핑에서 자동 탐지까지: 행동 클러스터링을 통한 ID 분석
AI 보안클라우드 환경에서 ID의 기능적 역할을 매핑하고 악성 활동을 자동 탐지하기 위해 행동 클러스터링 모델을 제안한다. 40,000개 이상의 ID를 대상으로 2개월간 분석하여 관리자, 백업 서비스, 보안 도구 등 역할을 매핑했으며, UMAP과 HDBSCAN 알고리즘을 사용한 비지도 학습을 통해 신뢰할 수 있는 행동 맵을 구축했다.
시사점 클라우드 보안 실무자는 ID의 실제 행동 패턴을 분석하여 악성 활동을 탐지할 수 있는 클러스터링 기반 방법을 도입할 필요가 있다.
클라우드 보안ID 역할 매핑행동 클러스터링자동 탐지(새 창에서 원문 열기)셔플링은 충분하지 않다: 퍼징 기반 모델 기밀성 해제
AI 보안하이브리드 FHE 추론에서 퍼징 기반 모델 기밀성을 해제하는 새로운 공격 기법을 제시한다. d-입력 선형 계층에 대해 d+1개의 허용 가능한 쿼리로 정확한 복원이 가능하다는 것을 보인다.
시사점 이 연구는 하이브리드 FHE 시스템에서 모델 기밀성을 보호하기 위한 퍼징 기법이 효과적이지 않다는 것을 보여주어, 보안 설계에 주의가 필요하다.
FHE모델 기밀성퍼징보안 추론(새 창에서 원문 열기)트리링 워터마킹 위조 기법의 재현 및 분석 (Tree-Ring Watermark Forgery)
AI 보안Tree-Ring 워터마킹 기법에 대한 Reprompt 공격을 Stable Diffusion XL에서 재현하고, 다양한 실험을 통해 공격의 효과성을 평가했다. 6개의 시도에서 진품 이미지는 6/6, 깨끗한 이미지는 0/6, 위조된 이미지는 5/6으로 감지되었으며, 공격당 325-332초가 소요되었다.
시사점 이 연구는 저비용 하드웨어에서도 Tree-Ring 워터마킹 기법을 효과적으로 위조할 수 있음을 보여주어, 디퓨전 모델의 의미 기반 워터마킹 보안성에 대한 재검토가 필요하다.
디퓨전 모델Tree-Ring워터마킹Reprompt 공격(새 창에서 원문 열기)사이버보안 CTF 작업을 위한 로컬 배포 SLM의 컨텍스트 세분화 평가
AI 보안SLM을 로컬에 배포할 때 발생하는 컨텍스트 불필요 증가와 인지 저하 문제를 해결하기 위해 컨텍스트 세분화(context segmentation)라는 새로운 프레임워크를 제안한다. picoCTF 데이터셋을 사용한 평가에서 기존 에이전트 실행이 실패한 작업 중 18.52%를 성공적으로 해결하였다.
시사점 이 연구는 로컬 배포 SLM의 효율성을 향상시키는 방법을 제시하여, 사이버보안 CTF 작업에서의 활용성을 높일 수 있다.
SLM컨텍스트 세분화CTF에이전트 프레임워크(새 창에서 원문 열기)사이버 범죄 대응에서 AI 신뢰성 평가와 벤치마크 부족 분석
AI 보안사이버 사건 초기 1시간의 경찰 조치가 조사 성공에 결정적임을 강조하고, 대응을 지원하는 AI 아키텍처를 체계적으로 분류한다. 현재 벤치마크가 법 집행의 안전성과 법적 요구사항을 충족하지 못함을 보인다.
시사점 법 집행 초기 단계에서 AI 지원 시스템의 신뢰성과 법적 적합성을 보장하기 위한 새로운 평가 기준이 필요하다.
사이버 범죄 대응AI 신뢰성법 집행RAG(새 창에서 원문 열기)NovaFabric: 변조 추적 가능하고 재생 가능한 자율 AI 에이전트 실행 증거
AI 보안자율 AI 에이전트의 실행을 변조 추적 가능하고 재생 가능한 증거로 기록하는 NovaFabric 시스템을 제안한다. 10/10 모델 응답 재생 성공률, 0.652의 선언 스트림 완전성, 14/14 자격 증명 유형 삭제 성공률 등을 보인다.
시사점 NovaFabric은 AI 에이전트 실행의 변조 추적과 재생 가능성을 실현하여 규제 준수와 투명성을 강화할 수 있다.
AI 에이전트변조 추적재생 가능DSSE(새 창에서 원문 열기)PDoS: 수익성 있는 Proof-of-Work 블록체인 라이브니스 거부 공격
AI 보안Proof-of-Work(PoW) 블록체인의 라이브니스를 목표로 하는 새로운 경제적 동기 부여 거부 서비스 공격인 PDoS를 제안한다. PDoS는 블록 헤더 신호 억제와 기생 수익 추출을 결합하여 높은 수수료 또는 MEV 환경에서 블록체인 라이브니스를 방해하면서 공격 비용을 보조하고, 이로 인해 공격자가 합리적인 마이너를 중단시키기 위한 해시 파워 임계값을 낮춘다. 높은 블록 가치가 PoW 시스템의 보안을 약화시킬 수 있음을 보인다.
시사점 PDoS 공격은 높은 수익 환경에서 블록체인 라이브니스를 방해하면서 수익을 낼 수 있어, 높은 수수료 또는 MEV가 발생하는 PoW 블록체인 네트워크의 보안 강화가 필요하다.
Proof-of-WorkPDoS블록체인 라이브니스경제적 동기 부여 공격(새 창에서 원문 열기)
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.