연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
연구팀은 Meta Attack Language(MAL)를 기반으로 한 사이버 작전 시뮬레이터인 MAL Simulator를 개발하여, 시스템 분석과 자동화 에이전트 개발에 활용했다. 두 가지 유형의 자동화 에이전트(방어 에이전트와 공격 에이전트)를 훈련시키는 두 가지 사례 연구를 수행했으며, 훈련된 공격 정책이 기존 탐색 방법보다 목표 도달 효율성이 높고, 방어 에이전트가 소음 알림 조건에서 낸 비용이 단순 휴리스틱 에이전트보다 낮았다.
시사점 이 연구는 공격 및 방어 에이전트의 훈련을 위한 사이버 작전 시뮬레이터의 중요성을 강조하며, MAL Simulator를 통해 다양한 도메인에서의 시뮬레이션과 자동화 에이전트 개발이 가능하다는 점을 실증했다.
연구팀은 인간 운영자 교육을 위한 사이버 레인지 환경에서 자동 네트워크 침입 대응 에이전트의 성능을 평가했다. 강화 학습 에이전트가 휴리스틱 정책보다 시스템 방어 효율성이 더 높았다.
시사점 강화 학습 기반 자동 대응 에이전트가 네트워크 보안 운영 효율성을 높일 수 있다.
기존 이론적 연구에서 제안된 랜덤 푸리에 특징(RFF) 알고리즘에 심는 탐지 불가능한 백도어를 실제 코드로 구현하여 그 실현 가능성을 검증했다. numpy와 scipy만을 사용한 구현으로, 백도어가 심긴 모델과 정상 모델 간의 차이를 탐지할 수 없었다.
시사점 이 연구는 기존 이론적 연구가 실제 코드로 구현 가능한지를 실증적으로 보여주며, 보안 연구자들이 이론적 취약점을 실용적으로 평가하는 데 참고할 수 있다.
유전자 기초 모델을 동형 암호화를 사용하여 평가하는 방법을 제안하고, 암호화된 상태에서 정확한 추론이 가능한지 실험적으로 검증했다. 클라이언트 지원 방식으로 전체 트랜스포머 블록을 처리했으며, 9,839 MiB 메모리와 6,683초 소요되었다.
시사점 암호화된 유전자 데이터를 처리하는 동형 추론 기술이 실현 가능성을 보여주어, 민감한 생체정보 보호에 기여할 수 있다.
대형 언어 모델에서 스테고말웨어를 중화하고 공격하는 순열 대칭성 기법을 제안하고, 이 기법의 방어 효과와 공격 가능성 모두를 실험적으로 보인다. 순열을 적용했을 때 모델 성능 저하가 최소임을 수치로 확인했다.
시사점 대형 언어 모델의 스테고말웨어 공격에 대비한 방어 기법으로 순열 대칭성을 활용할 수 있으며, 공격 가능성도 염두에 두어야 한다.
도구 통합 대규모 언어 모델(LLM) 에이전트의 적대적 공격 방어 전략을 탐구하고, 공격 성공률을 0%까지 낮추는 방식을 제시한다. 4개 오픈소스 LLM과 3개 프로퍼티어리 LLM에서 공격 성공률(ASR)을 0%까지 낮추며 원래 작업 성공률을 유지하거나 향상시켰다.
시사점 도구 통합 LLM 에이전트의 보안 강화를 위해 다층적 방어 전략을 채택할 수 있다.
RAPID는 텍스트-이미지 생성 모델의 비인가 디스틸레이션 공격을 방어하기 위해 VAE 디코더에 방어적 펄티urbation을 통합하는 실시간 방어 기법이다. 실험 결과 RAPID는 대체 모델의 생성 품질을 저하시키면서도 서비스 시각적 정확도를 유지한다.
시사점 이 결과는 텍스트-이미지 생성 서비스의 모델 지적 재산권 보호를 위해 실시간 방어 기법을 설계할 때 참고할 수 있다.
사전 학습된 월드 모델(latent world models)에 뒷문 공격을 적용하여, 공격자가 체크포인트만 제어하여 하위 컨트롤러를 해킹할 수 있음을 보인다. 공격은 100%의 트리거 스텝에서 공격자의 목표 행동으로 조종되며, 정상 데이터 진단은 75% 이상 성공한다.
시사점 이 연구는 월드 모델을 재사용하는 경우 공격자가 체크포인트를 조작하여 하위 컨트롤러를 조종할 수 있음을 시사하여, 모델 체크포인트의 보안 검증이 필요하다.
CiteShade는 RAG 시스템에서 인용 채널을 공격하는 새로운 방법으로, 공격자가 단일 출처를 조작하여 신뢰할 수 있는 출처에 잘못된 답변을 연결시킨다. 공격은 최적화 문제로 정의되어 다중 출처 질문 응답에서 오답률을 0.01에서 0.68로 높인다.
시사점 RAG 시스템의 인용 채널 보안을 강화하기 위해 인용 출처의 실제 영향을 검증하는 방어 기법을 도입해야 한다.
Lightcap의 출판 강제 메커니즘에서 정확한 콘텐츠 바인딩, 권한 신선도, 체크포인트 복구를 분석하였다. 14B 모델 기반의 응답-액션 체커는 302개 중 291개의 미지원 라벨 응답을 수용했으며, 직접 기준선은 41개를 수용하였다.
시사점 이 연구는 LLM 답변 시스템의 승인 무결성과 복구 메커니즘의 효과성을 실무에서 평가하는 데 도움을 줄 수 있다.
LLM 기반 에이전트의 공격 경로 추론을 보완하기 위해, 스캐너 출력을 기반으로 논리 공격 그래프를 생성하는 반자동 파이프라인을 제안한다. 54개 웹 CTF 과제에서 평균 53.7%의 취약점 커버리지를 달성했으며, 평균 노이즈 경로 비율은 83.9%였다.
시사점 LLM 에이전트와 기호적 추론을 결합한 공격 그래프 생성 파이프라인을 통해 침투 테스트 자동화가 가능해진다.
중앙집중식 멀티에이전트 시스템(MAS)에서 등록된 워커 에이전트의 설명을 조작해 플래너를 기만하는 등록 시점 주입 공격을 분석하고, 8가지 공격 전략을 제시한다. GAIA 평가에서 조작된 설명 하나로 작업 성공률을 84.31%에서 37.25%로 낮추거나 토큰 소비나 실행 시간을 111% 이상 증가시킬 수 있음을 보인다.
시사점 이 연구는 실제 시스템에서 워커 설명을 신중히 검증할 필요성을 강조하며, 등록 시점 보안 검증을 강화하는 방안을 제시한다.
저자는 약한 비정렬 모델이 해로운 작업을 무해해 보이는 하위 문제로 분할하고, 강력한 정렬 모델을 각각 독립적으로 상담한 후 로컬에서 답변을 결합하는 새로운 공격 기법인 'capability laundering'를 제안한다. CyBench, BountyBench, 해로운 CBRN 요청에서 실험한 결과, Gemma-4-31B는 GPT-5.5와 Opus를 사용할 때 각각 8/14, 7/9 후보를 회복했으며, CBRN 공격 체인에서 평균 점수를 62.3에서 83.1로 높였다.
시사점 이 연구는 정렬된 LLM이 개별적으로 허용된 상호작용을 통해 해로운 능력을 전달하고 구성될 수 있음을 보여주어, 현재 방어 체계의 한계를 드러내며, 실무에서는 LLM 상호작용의 집합적 위험을 평가하는 새로운 접근이 필요하다.
AI 시스템이 개인의 행동을 복제하는 인격 기술 증류(Persona skill distillation)에 대한 새로운 방어 기법인 CounterPersona를 제안한다. CounterPersona는 표어적 반박 증거를 구성하고 행동 상태를 병합하여 일관성을 강화함으로써 강력하고 일관된 효과성을 보인다.
시사점 CounterPersona는 수집된 데이터를 수정할 수 없는 환경에서 개인의 프라이버시와 노동 자율성을 보호하는 데 실무적으로 활용될 수 있다.
LLM 추론 시 사용자 프롬프트의 민감 정보를 보호하기 위해 TEE와 GPU를 분할하여 차등 사설을 적용한 새로운 아키텍처를 제안한다. TDX에서의 구현 결과, 전체 CPU 기반 추론보다 약 2배 빠르고, 암호화 기반 Slalom보다 5-15초 빠르며 정확도가 더 높다.
시사점 이 연구는 민감한 사용자 데이터를 보호하면서도 LLM 추론 성능을 향상시키는 실용적인 방법을 제시하여, 클라우드 환경에서의 보안 LLM 서비스 개발에 참고가 될 수 있다.
프롬프트 인젝션 감지기(prompt-injection detector)의 성능 평가를 위해 새로운 벤치마크인 PIDS-Bench를 제안한다. 이 벤치마크는 분포 이동(distribution shift) 상황에서의 감지 정확도(F1=0.98)와 양성 오류율(FPR 0.10 이상)을 동시에 평가한다.
시사점 이 연구는 프롬프트 인젝션 감지기의 실제 운영 시 오류를 줄이기 위해 분포 이동 상황을 고려한 평가가 필요하다는 점을 시사한다.
LLM 에이전트가 외부 환경과 상호작용할 때 발생할 수 있는 간접 프롬프트 인젝션 공격을 방어하기 위해 사전 실행 동작 감사 프레임워크인 ActGuard를 제안한다. ActGuard는 기존 방어 기법의 단점을 보완하여 보안과 유틸리티의 균형을 유지하면서 공격 성공률을 현저히 줄이는 것을 보인다.
시사점 ActGuard를 도입하면 LLM 에이전트의 보안성을 향상시키면서도 작업 효율성을 유지할 수 있다.
LLM 에이전트에서 테넌트 식별자를 모델 컨텍스트 프로토콜(MCP) 도구 스키마에서 제거하고 검증된 자격 증명으로 범위를 바인딩하는 구조적 방어 기법을 제안한다. 373회 실험에서 테넌트 매개변수를 제거하면 도구 시그니처가 범위 밖 요청을 표현할 수 없었고, 57배의 지연 비율이 측정되었다.
시사점 LLM 에이전트에서 테넌트 격리를 강화하기 위해 인증된 자격 증명과 실행 가능한 인터페이스를 의존하는 구조적 방어를 적용해야 한다.
LLM 에이전트가 다중 소스에서 입력을 수집할 때 발생하는 세그먼트 수준 중독 공격을 탐지하고 정위하는 내부 상태 기반 프레임워크 ActProbe를 제안한다. ActProbe는 0.01의 거짓 긍정률, 0.05의 거짓 부정률, 0.94의 정위 재현률, 0.90의 정위 F1 점수를 달성한다.
시사점 ActProbe는 LLM 에이전트의 입력 중독을 효과적으로 탐지하고 정위하여, 실제 시스템에서의 보안 강화에 기여할 수 있다.
ViTeGate는 시각-언어 검색 증강 생성(VLRAG) 시스템에 대한 지식 오염 공격 기법으로, 시각적 트리거와 텍스트 트리거를 조합해 공격을 선택적으로 활성화한다. InfoSeek 데이터셋에서 공격 성공률 0.98과 정상 응답 정확도 0.93을 달성했다.
시사점 이 연구는 VLRAG 시스템의 보안 취약점을 드러내며, 시각-언어 트리gger를 활용한 정밀한 공격 활성화 기법을 제시한다.
RAG 시스템에서 멤버십 추론 공격을 위해 컨텍스트 유도 정보 이득을 기반으로 한 CIG-MIA 기법을 제안한다. Natural Questions 데이터셋에서 회색 상자 설정에서 AUC 0.99, 검은 상자 설정에서 AUC 0.93을 달성한다.
시사점 RAG 시스템의 보안 취약점을 드러내며, 외부 지식베이스를 사용하는 시스템의 정보 누출 가능성을 실무적으로 고려해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.