연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
RAG 시스템에서 반복 검색 과정을 악용한 retriever 백도어 공격 기법을 제안하고, 약한 백도어 정화를 이용한 감지 회피 방법을 분석한다. 악성 retriever 체크포인트를 공급함으로써 검색 에이전트와 데이터베이스를 변경하지 않고도 유용한 증거를 억제하거나 검색 비용을 증가시킬 수 있음을 보인다.
시사점 RAG 시스템의 retriever 구성요소를 보호하는 방어 전략이 필요하다.
보안 프로토콜의 자연어 설명을 형식 모델로 변환하는 과정에서 LLM의 출력 신뢰도를 향상시키기 위해 인간 검증을 통합한 프레임워크를 제안한다. 프로토콜 IR은 의미적 정확성을 검증하는 중간 표현으로, 모델 생성 전에 중요한 결정을 검토하도록 사용자에게 안내한다.
시사점 이 연구는 LLM을 활용한 보안 프로토콜 모델링의 신뢰도를 높이기 위해 인간 검증을 결합한 프레임워크를 제시하여, 형식 검증 도구와의 협업을 강화할 수 있다.
분산된 대형 언어 모델(LLM) 미세 조정 환경에서 전파되는 백도어 공격을 감지하고 방지하는 메커니즘을 제안한다. Chorus는 평균 공격 성공률(ASR)을 48-63%에서 최대 2.2%로 줄이는 것을 보인다.
시사점 Chorus는 분산 LLM 학습 환경에서 백도어 공격을 효과적으로 감지하고 방지할 수 있는 새로운 메커니즘으로, 실무에서 분산 학습 시스템의 보안 강화에 활용될 수 있다.
LLM 워터마킹 기법을 자동으로 발견하는 프레임워크를 제안하고, 3개의 최첨단 모델에서 50개 이상의 워터마킹 스킴을 탐색하여 기존 방법을 능가하는 것을 보였다. 3개의 핵심 차원(detectability, quality, robustness)에서 평가하여 우수한 성능을 나타냈다.
시사점 LLM 워터마킹 연구의 자동화를 통해 더 신뢰성 있고 효과적인 워터마킹 기법을 발견할 수 있다.
LLM 생성 텍스트에 워터마크를 삽입하는 기존 방법은 생성 문장의 의미적 선호도와 워터마크 요구 조건이 충돌해 의미가 제한되는 문제를 일으킨다. HammingMark는 이전 문장의 해밍 이웃 내 해시를 기준으로 워터마크 유효성을 판단해 생성 품질과 탐지력을 균형 있게 유지한다.
시사점 HammingMark는 워터마킹된 LLM 생성물의 탐지 정확도를 높으면서도 생성 품질 저하를 최소화해 실무 적용 가능성이 있다.
네 가지 취약점 점수 시스템(CVSS, EPSS, SSVC, IronMiner)을 비교했다. 2015년 우크라이나 전력망 사고 사례에서 각 시스템의 점수가 크게 달랐다.
시사점 실무에서는 단일 시스템보다 복합적 점수 접근법을 고려해야 할 수 있다.
LLM 에이전트가 간접 프롬프트 인젝션 공격에 취약한 문제를 해결하기 위해, 실행 전에 타입화된 권한 청사진을 컴파일하고 결정론적 모니터를 통해 강제하는 ToolFence 기법을 제안한다. ToolFence는 사용자 권한이 있는 값과 신뢰되지 않은 관찰을 구분하여 공격 성공률을 3.80%포인트 이하로 낮춘다.
시사점 ToolFence는 LLM 에이전트의 권한 관리를 세부적으로 제어하여 보안성을 향상시키며, 실무에서 프롬프트 인젝션 공격 대응에 활용할 수 있다.
연방 학습에서 클라이언트의 악의적인 업데이트를 검증하기 위해 OPFL이라는 새로운 기법을 제안한다. 실험 결과, OPFL은 모델 중독 공격과 PGD 기반 공격에 대해 0%의 공격 성공률을 달성했으며, LeNet 작업에서 전체 MPC 기반 FL보다 약 98.6배 빠르고 ZK 기반 접근보다 625.5배 빠르다.
시사점 OPFL은 연방 학습 환경에서 악의적인 업데이트를 효과적으로 검증할 수 있는 새로운 기법으로, 보안과 효율성을 동시에 달성할 수 있다.
다양한 실행 요구사항을 가진 취약점 재현을 위해 유형과 상태를 인식하는 TAILOR 프레임워크를 제안한다. TAILOR는 59.24%의 웹 취약점과 44.19%의 전통적 취약점을 성공적으로 재현하였다.
시사점 TAILOR는 다양한 취약점의 자동화된 재현을 가능하게 하여 보안 팀의 진단과 방어 작업을 지원한다.
이 연구는 대형 언어 모델의 안전 정렬을 우회하기 위해 텍스트만을 사용하는 제어된 디코딩 공격 기법을 제안한다. 네 가지 타겟 엔드포인트와 세 가지 벤치마크에서 기존 기법 대비 가장 높은 평균 점수를 달성했다.
시사점 이 연구는 실제 서비스 중인 LLM의 안전 정렬을 우회할 수 있는 공격 기법을 제시하여, LLM 보안 대응 전략의 재검토가 필요하다.
본 연구는 블랙박스 대형 언어 모델(LLM)에서 비밀 정보를 추출하는 새로운 프레임워크를 제안한다. 이 프레임워크는 비밀 관련 행동을 로컬 화이트박스 프록시로 정제하고, 추출된 후보를 필터링하는 두 단계로 구성된다. 제어된 API 키 벤치마크에서 기존 기준보다 추출 효과성과 실제 키 비율을 향상시키며, OpenAI와 Claude Code의 독립적으로 배포된 시스템에서 마스킹된 자격 증명을 복구하였다.
시사점 이 연구는 블랙박스 LLM에서 비밀 정보가 추출될 수 있음을 보여주어, 기업이 모델 훈련 데이터의 보안을 강화할 필요성을 강조한다.
LLM 기반 에이전트의 악성 스킬 감지를 위해 증거 기반 프레임워크 SKILLLITE를 제안한다. SKILLLITE는 다양한 컴팩트 LLM에서 악성 스킬 탐지 성능을 기존 대비 향상시킨다.
시사점 리소스 제약 환경에서도 효과적인 악성 스킬 감사를 위해 컴팩트 LLM 기반 프레임워크를 도입할 수 있다.
해로운 파인튜닝 공격으로부터 대규모 언어 모델의 정렬을 보호하기 위해 VaccineBooster라는 새로운 방어 기법을 제안한다. VaccineBooster는 OpenAI 중재 점수 0.315를 달성했으며, 거부율은 50%를 유지한다.
시사점 VaccineBooster는 정렬된 모델이 신뢰할 수 없는 파인튜닝에 노출될 때 콘텐츠 안전성과 거부 행동 간의 우선순위를 설정하는 데 실무적으로 활용될 수 있다.
이 연구는 다중 턴 대화에서 그래디언트 기반 탈옥 탐지의 효과성을 평가하고, 다양한 윈도우 크기와 공격 유형을 고려한 실험을 수행했다. 합성 데이터에서는 ROC-AUC 0.98을 달성했으나, 실제 대화에서는 0.76로 감소했으며, 90% 이상의 정상 대화가 위험으로 분류되었다.
시사점 실제 대화 환경에서 그래디언트 기반 탈옥 탐지를 신뢰성 있게 사용하려면 실제 데이터 기반 교정과 짧은 윈도우 크기, 길이에 따른 임계값 설정이 필요하다.
간접 프롬프트 인젝션 공격을 체계적으로 평가하기 위한 툴킷 pikit을 제안한다. 9개 방어 전략을 고위험 공격에 대비해 평가한 결과, 공격 성공률을 71.8% 상대적으로 감소시킨다.
시사점 이 툴킷은 실무에서 간접 프롬프트 인젝션 공격의 위험성을 평가하고 방어 전략을 검증하는 데 활용할 수 있다.
딥러닝 모델의 가용성 위협을 중심으로 지연 공격과 방어 전략을 다분야에 걸쳐 종합적으로 조사한다. 공격 메커니즘과 방어 방법을 분류하고, 시스템 수준의 가용성 실패 조건을 분석한다.
시사점 이 연구는 딥러닝 시스템의 가용성 보장을 위해 지연 공격에 대한 이해와 방어 전략 수립의 중요성을 실무에 강조한다.
CHERI 메모리 안전성을 기반으로 UNIX 사용자 공간의 세분화된 컴파트먼트를 구현하여 10,000개 이상의 컴파트먼트를 지원한다. 크롬브라우저 같은 대규모 애플리케이션에서 500개 이상의 컴파트먼트를 처리할 수 있으며, 소스 코드 변경이 거의 없는 효율적인 구현을 보인다.
시사점 이 연구는 CHERI 기반의 컴파트먼트 모델을 통해 메모리 보호를 강화하고, 대규모 애플리케이션에서의 실용성을 입증하여 보안 아키텍처 설계에 기여한다.
LLM 에이전트의 보안 위험을 해결하기 위해 Self-Evolving Defense (SED)라는 훈련 없는 방어 프레임워크를 제안한다. SED는 0.42%의 타겟 프롬프트 주입 성공률을 기록했으며, 기존 최고 기준 방어보다 3.7%로 훨씬 낮췄다.
시사점 SED는 LLM 에이전트의 보안 정책을 지속적으로 적응시키며, 기존 방어 기법보다 훨씬 낮은 공격 성공률을 보여 실무에서 적용 가능하다.
기존 사이버 보안 벤치마크는 초기 접근까지만 평가하는 한계가 있어, LLM 기반 공격자가 지속성을 유지하는 능력을 평가하는 새로운 벤치마크인 CyberPersistBench를 제안한다. 5개의 최첨단 에이전트를 대상으로 한 실증 평가에서 자동 지속성은 27.6%~44.8%에 불과하며, 방어가 활성화된 경우 5.5%~13.3%로 급격히 떨어진다.
시사점 이 연구는 사이버 공격자의 지속성 평가가 필요하다는 점을 강조하며, 보안 전문가들이 LLM 기반 공격의 지속성에 대한 이해를 높이고 방어 전략을 개선해야 함을 시사한다.
LLM 에이전트의 간접 프롬프트 인젝션을 억제하기 위해 활성화 조정 기반 방어 기법인 CounterSteer를 제안한다. 5가지 개방 가중치 모델에서 공격 성공률이 0.21-1.00에서 0.00-0.17로 감소했으며, AgentDojo 침해율은 0.10-0.49에서 0.006-0.079로 감소했다.
시사점 CounterSteer는 LLM 에이전트의 간접 프롬트 인젝션 공격에 효과적으로 대응할 수 있는 방어 기법으로, 실무에서 즉시 적용 가능한 방안이다.
기존의 프로벤언스 기반 침입 탐지 시스템(PIDS)은 공격 스토리라인을 구성하기 어려운 문제를 해결하기 위해, ANCHOR라는 조사 중심의 프로벤언스 시스템을 제안한다. ANCHOR는 증거 큐를 통해 원인 구조, 시간 경계, 창 간 연속성을 보존하며, 공격 스테이지별로 공격 스토리라인을 점진적으로 재구성한다. 6개 DARPA 데이터셋을 기반으로 한 평가에서 기존 기반 시스템보다 IoC 복구율과 공격 스테이지 속성 지정이 개선되었다.
시사점 이 연구는 시스템 프로벤언스 데이터를 기반으로 LLM을 활용한 공격 추적 방법을 제안하여, 보안 분석의 정확성과 효율성을 높일 수 있다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.