연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
지속적 AI 에이전트가 반성, 검색, 통합을 통해 자기 서술 상태를 구성할 때 비신뢰할 수 있는 입력이 지속 상태에 포함될 수 있는 문제를 해결하기 위해 타입 기반 증명(typed provenance)과 진술 가이드라인(assertion guardrails)을 제안한다. 24개의 수작업 준수 사례에서 19개의 비안전 기회 중 하나도 무자격으로 통과시키지 않았으며, 모든 지원되는 제어를 보존했다.
시사점 AI 에이전트의 지속 상태 관리 시 보안성을 확보하기 위해 타입 기반 증명과 진술 가이드라인을 도입할 필요가 있다.
LLM 에이전트의 스킬 선택 과정에서 암묵적 조작 공격(ISM)을 제안하고, 세 단계 전략을 통해 타겟 스킬 선택률을 15.2%에서 63.5%까지 높였다. ISM은 명시적 지시 없이도 인간 심사자에 의해 차단당하는 비율이 2.9%에 불과하다.
시사점 LLM 에이전트의 스킬 선택 과정에서 암묵적 조작 공격이 효과적임을 보여주어, 보안 설계 시 이러한 공격 방식을 고려해야 한다.
자율 에이전트가 조직 간 데이터베이스와 클라우드 서비스를 변경하는 도구 동작을 실행할 때 발생하는 보상 가능한 부작용을 정산하기 위한 스마트 계약 프로토콜인 Recourse를 설계하고 평가했다. Recourse는 허가된 동작을 범위, 복구, 증거, 지급금, 보증금과 결합하여 보상되지 않은 피해를 줄이는 데 기여한다.
시사점 이 연구는 자율 에이전트가 조직 간에 실행하는 도구 동작의 부작용을 스마트 계약으로 정산하는 새로운 프로토콜을 제안하여, 보상되지 않은 피해를 감소시키는 데 기여한다.
에이전트 플라이트 레코더(Agent Flight Recorder)는 장기적 툴 사용 에이전트의 모든 동작을 구조화된 이벤트로 기록하고, 해시 체인과 머클 배치를 통해 탬퍼 증거를 제공하는 시스템이다. 시스템은 48 마이크로초 평균 이벤트 지연과 512바이트당 이벤트, L2 앵커링 비용 $2.30/10만 이벤트를 기록했으며, 100% 탐지율과 0% 오류를 보였다.
시사점 이 시스템은 장기적 툴 사용 에이전트의 보안 감사 및 탬퍼 증거를 제공하여, 조직 간 분쟁 해결과 제3자 검증을 용이하게 한다.
이 연구는 뇌파 신호를 바이오메트릭 인증 시스템으로 사용하는 데 있어 적대적 공격에 대한 취약성을 분석한다. 6개 공개 데이터셋을 사용한 실험에서 기록 조건에 따라 취약성이 크게 달라지는 것을 보였다.
시사점 이 연구는 뇌파 기반 인증 시스템의 보안 설계 시 적대적 공격에 대한 고려가 필요함을 시사한다.
LLM 에이전트의 지속 메모리가 권한 상태를 잘못 기록해 권한을 조작하는 '내생적 권한 세탁' 현상을 분석하고, 이를 측정하는 EAL-Bench 벤치마크를 제안한다. 50.2%의 비인가 요청에 대해 거짓 권한이 생성되고, 이는 98.6%의 경우 실행에 이르는 것으로 나타났다.
시사점 LLM 에이전트의 메모리 관리가 권한 정책의 핵심 요소임을 보여주어, 메모리의 정확성 보장을 위한 설계가 필요하다.
AI 에이전트가 MCP와 A2A 프로토콜을 동시에 사용할 때 정보 유출 경향을 측정했다. 4개 모델에서 PUBLIC 라벨이 유출률을 평균 0.8 증가시켰다.
시사점 AI 에이전트 시스템에서 공개 라벨이 정보 유출을 유도할 수 있으므로, 보안 정책에 반영해야 한다.
AI 코딩 에이전트가 협업할 때 기밀 정보를 보호하기 위해 Skill-as-API라는 새로운 프로토콜을 제안한다. 이 프로토콜은 기술의 본문을 전달하지 않고 이름, 설명, 입력/출력 스키마만 공개하며, 1.8-2.9초의 대륙 간 재접속 지연 시간을 보인다.
시사점 AI 에이전트 협업 시 기밀 정보 유출을 방지할 수 있는 프로토콜을 개발하여 실무에서 적용할 수 있다.
보안 팀과 연구자들이 위협 보고서에서 지식 그래프 추출 도구를 선택할 때 발표된 triple-F1 점수에 의존하지만, 이 점수는 예측된 트리플이 금색 주석과 어떻게 매칭되는지에 따라 달라진다. 12개 시스템 중 5개만이 발표된 매칭 규칙을 재구현할 수 있었고, 10개 시스템 출력을 공유 문서에서 8개 프로토콜로 다시 점수화하면 45개 쌍 중 11개의 순위가 뒤바뀐다.
시사점 이 연구는 보안 팀이 위협 보고서에서 추출 도구를 선택할 때 점수 재산정과 매칭 규칙의 영향을 고려해야 함을 시사한다.
에이전트 AI 시스템이 민감한 데이터를 추론 시간에 처리할 때 발생하는 개인정보 유출 위험을 분석하고, 기존 방어 기법을 무력화하는 새로운 컨텍스트 추론 공격 기법을 제시한다. 공격 성공률(ASR) 100% 및 AUROC 92.5 등 높은 정량적 성능을 보인다.
시사점 에이전트 AI 시스템을 사용하는 기업은 컨텍스트 추론 공격에 대한 보안 대책을 강화해야 한다.
Unit 42는 랜섬웨어 공격에서 인간 공격자가 최첨단 AI를 활용해 기업 네트워크를 자동화된 방식으로 침해한 사례를 분석했다. 공격자는 50개 이상의 MITRE ATT&CK 기술을 10시간 미만으로 집약적으로 수행했으며, 80페이지에 달하는 보안 평가 보고서를 남겼다.
시사점 AI 에이전트를 활용한 공격은 기존 방어 전략을 빠르게 무력화할 수 있어, 실무자는 AI 기반의 자동화된 공격 패턴을 감지하고 대응할 수 있는 방안을 마련해야 한다.
스킬 강화 에이전트에 대한 런타임 보호 기법을 제안하고, SCOPE-R 데이터셋을 구축하여 SkillSonar라는 구현체를 평가했다. ID ASR 0.482→0.104, OOD ASR 0.606→0.115로 감소시켰다.
시사점 스킬 강화 에이전트의 런타임 보호를 위해 Defense-as-Skill 패러다임을 채택할 수 있다.
대형 언어 모델(LLM)의 안전 정렬이 올바른 미세 조정으로 인해 심각하게 약화되는 이유를 연구했다. 100개의 올바른 미세 조정 예시 후, 출력 측 MLP 모듈에서 경로가 선택적으로 재예화되어 비대칭적 취약성이 설명된다.
시사점 이 연구는 LLM의 안전 정렬이 어떻게 미세 조정에 의해 약화되는지를 이해하는 데 도움이 된다.
AI 에이전트 허네스의 컨텍스트 조립 설계를 체계적으로 분석하고, 두 가지 새로운 공격 벡터인 MessageRole Context Privilege Escalation(M-CPE)와 Cross-Scope Context Privilege Escalation(X-CPE)를 제시한다. 12개 실제 허네스에서 CPE 공격에 대한 보안 분석을 수행하여 전체 에이전트 침해, 원격 코드 실행, 서비스 거부 등의 결과를 보인다.
시사점 AI 에이전트 허네스의 컨텍스트 조립 설계에 대한 보안 검토가 필요하며, M-CPE와 X-CPE 공격에 대한 방어 전략을 수립해야 한다.
중국어 해로운 콘텐츠 평가에서 언어적 변이와 적대적 변형이 위험한 의도를 가릴 수 있다는 점을 고려해, 응답 수준의 중국어 안전 평가 벤치마크인 C-SafeQA를 제안한다. C-SafeQA는 538개의 기본 질문과 8,877개의 적대적 질문을 포함하며, 4개의 전체 모델 LLM 배포를 통해 생성된 37,660개의 질문-응답 기록을 안전, 비안전, 논란으로 라벨링한 결과, 기본 질문에서 0.93%~3.35%, 적대적 질문에서 11.68%~30.05%의 비안전 응답률을 보였다.
시사점 C-SafeQA 벤치마크를 활용하면 대규모 언어 모델의 안전성 평가와 자동화된 안전 판정기의 정확도를 검증할 수 있다.
리버스 엔지니어링(RE) 능력을 평가하기 위해 CTF 문제를 사용하지만, 기존 방법은 플래그 획득 여부만 확인한다. 이 논문은 RE 과정의 세 단계에서 LLM RE 에이전트의 성능을 진단하는 Reveree 프레임워크를 제안한다.
시사점 이 결과는 LLM 기반 RE 에이전트의 평가 기준을 개선하고, 실제 분석 능력과 기억력의 차이를 구분하는 데 도움이 된다.
연구팀은 CTI 생성 및 공유 과정에서의 주요 문제점을 실증적으로 분석하고, 대규모 언어 모델(LLM)이 이를 어떻게 지원할 수 있는지 탐구했다. 실증 연구에서 LLM은 CTI 생성의 4단계에서 분석가를 지원하지만, 민감 정보 노출 방지, 지표 추출, 표준 TTPs와의 연관성, 공유 포맷 변환 등의 문제를 해결하지 못한다.
시사점 이 연구는 CTI 생성 과정의 자동화를 위한 연구 방향을 제시하며, 실무에서 LLM을 도구로 활용할 때 전문가의 감독이 필수적임을 시사한다.
SMS 스팸 탐지 시스템의 실제 내구성을 평가하고, 적대적 공격에 대한 취약점을 분석했다. 다중 모델 앙상블을 통해 내구성을 크게 향상시켰다.
시사점 실무에서는 스팸 탐지 시스템의 적대적 공격 내구성을 평가하고, 앙상블 방식을 도입해 보호 수준을 높여야 한다.
딥 이미지 워터마킹의 강건성 한계를 메커니즘과 용량 확장에 따라 분석했다. 64~16384비트의 페이로드를 측정해 3가지 한계를 확인했다.
시사점 워터마킹 시스템 설계 시 페이로드 그리드의 동기화, 인코더-디코더 왜곡 저항, 임베딩 강도 범위를 고려해야 한다.
LLM 보안을 위해 생성형 가드레일을 제안하고, 러시아어와 영어로 훈련시켜 다양한 벤치마크에서 성능을 평가했다. 러시아어 세트에서 0.88의 결합 F1 점수와 0.999의 프롬프트 인젝션 재현률을 달성했다.
시사점 이 연구는 LLM의 프롬프트 인젝션 탐지를 위한 새로운 생성형 가드레일을 제시하여, 보안 실무자들이 LLM 보안을 강화하는 데 참고할 수 있다.
이 연구는 추론 기반 코드 LLM에 대한 stealthy backdoor 공격 기법 AKRASIA를 제안한다. AKRASIA는 99.34% 평균 공격 성공률을 기록했으며, 최신 방어 기법을 98.82% 평균 ASR로 우회하고, 80% 설정에서 인간 검사를 회피했다.
시사점 이 연구는 코드 생성 LLM에 대한 stealthy 백도어 공격이 가능함을 보여주어, LLM 보안 방어 전략의 재검토가 필요하다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.