연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
RAGSentinel은 검색 증강 생성(RAG) 시스템의 보안 취약점을 방어하기 위해 훈련 없이 레이블 없이 작동하는 방어 기법을 제안한다. 실험 결과, RAGSentinel은 다양한 질문-답변 데이터셋과 LLM 가족, 중독 공격에서 낮은 공격 성공률을 유지하면서 경쟁력 있는 정확도를 보인다.
시사점 RAGSentinel은 적대적 문서를 효과적으로 필터링하여 RAG 시스템의 보안을 향상시킬 수 있어, 실무에서 보안 강화에 활용할 수 있다.
대규모 언어 모델(LLM)의 안전 정렬 문제를 해결하기 위해 NeuronGuard라는 새로운 방어 기법을 제안한다. NeuronGuard는 안전 신호를 더 넓은 뉴런 집합에 재분배함으로써 탈옥 공격과 뉴런 수준 공격에 동시에 강건하게 만든다. 실험 결과, 세 가지 LLM과 여섯 가지 최신 공격 전략을 통해 공격 성공률(ASR)이 거의 0%로 유지되며 작업 정확도를 보존한다.
시사점 이 연구는 LLM의 안전 정렬을 강화하는 새로운 방어 기법을 제시하여, 실제 시스템에서의 안전성을 향상시킬 수 있다.
연방 학습 환경에서 감시 영상 이상 탐지를 위한 모델 학습 시, 클라이언트가 서버에 속이기 위해 배후도 공격을 주입할 수 있는 문제를 해결하기 위해 STAIN-FL이라는 새로운 공격 프레임워크를 제안한다. STAIN-FL은 낮은 조도, 실내 환경, 군중 밀도 등 자연스러운 감시 조건을 트리거로 사용하여 정상 정확도를 유지하면서도 특정 조건에서 오분류를 유도한다.
시사점 이 연구는 연방 학습 기반 감시 시스템에서 배후도 공격의 지속적 위험성을 보여주며, 특히 저강도 공격이 탐지 회피와 높은 공격 효과를 동시에 달성할 수 있음을 시사한다.
Google이 제시한 AP2 프로토콜의 보안 분석을 수행하고, 48개의 보안 위협을 식별하여 8개의 고위험 위협을 AIVSS 점수로 평가했다. 5개의 아키텍처를 포함한 테스트베드를 구축하고, 8개의 고위험 위협에 대한 증명 개념을 개발했다.
시사점 AP2 프로토콜의 보안 취약점을 이해하고, 위협 평가 및 완화 방안을 설계하는 데 이 결과를 활용할 수 있다.
MCP 서버에 대한 단계적 신뢰 공격인 TrustShift를 제안하고, 이 공격을 평가하고 방어하는 TrustShiftProbe 프레임워크를 제시한다. TrustShift 공격의 평균 공격 성공률은 69.5%이며, SHIELD 방어 기법을 통해 42.7%로 감소시켰다.
시사점 MCP 서버의 신뢰 공격을 감지하고 방어하기 위한 실용적인 프레임워크를 제공하여, LLM 에이전트와 외부 도구 간의 보안을 강화할 수 있다.
공업 제어 시스템(ICS)에서 기계 학습 기반 이상 탐지 모델의 훈련 데이터 오염에 대한 안정성을 평가하였다. 11개 이상 탐지기의 3가지 오염 전략(랜덤 삽입, 유사도 타겟 삽입, 특징 노이즈 삽입)을 평가하여, 모델별로 안정성이 크게 달라지는 것을 확인하였다.
시사점 공업 제어 시스템에서 기계 학습 모델의 훈련 데이터 무결성을 보장하는 것이 중요하다.
LLM 에이전트의 메모리 시스템에 단일 인터랙션으로 메모리 주입 공격을 수행하는 InjecMEM을 제안한다. 다양한 메모리 시스템과 백본 모델에서 평가한 결과, InjecMEM은 메모리 드리프트 상황에서도 신뢰성 있게 주제 조건부 검색과 대상 생성을 달성하였다.
시사점 LLM 에이전트의 메모리 시스템 보안 강화가 필요하며, 이 연구는 메모리 공격에 대한 재현 가능한 프레임워크를 제공한다.
Gumbel 기반 추론 검증은 LLM 가중치 유출을 제한하지만, 공격자가 프롬프트 분포를 조절하면 방어가 약화된다. 1B~32B 파라미터의 6개 모델에서 공격으로 유출 비트 수가 약 2배 증가해 지연 요인을 60x-118x로 낮췄다.
시사점 LLM 보안 방어는 정적 기준보다 동적 엔트로피 기반으로 설정해야 한다.
LLM이 생성한 거래 전략의 일관성을 평가하기 위해 FIDES라는 새로운 측정 프로토콜을 제안한다. 40개 전략을 대상으로 실시한 실증 분석에서, 40개 중 2개만이 buy-and-hold 전략을 초과했으며, 32개 전략이 자신이 buy-and-hold를 초과할 것이라고 주장했지만 실제로는 하나도 넘지 못했다는 결과를 얻었다.
시사점 LLM 생성 거래 전략의 일관성을 평가하는 FIDES 프로토콜을 통해 생성 모델의 신뢰도와 정확성을 검증할 수 있다.
피싱 웹사이트는 짧은 수명과 빠른 변화를 특징으로 하며, 기존 데이터셋은 URL이나 사전 계산된 특징으로만 구성되어 있어 연구의 한계가 있다. PhiShark2026은 HTML 콘텐츠, 스크린샷, HTTP 헤더, TLS 인증서, DNS 등 다양한 원증거를 보존한 67,502개의 스캔 데이터를 제공한다. 33,387개의 피싱 관측치와 34,115개의 양성 참조 관측치를 포함하며, 호스팅 인프라 정보를 마스킹하여 혼동을 방지한다. 피싱과 양성 사이의 웹 자원 사용, 도메인 성숙도, 보안 헤더, 인프라 맥락에서 체계적인 차이를 보인다.
시사점 이 데이터셋은 피싱 웹사이트의 진화에 따라 재분석이 가능하며, 다양한 피싱 탐지 및 분석 방법의 기초가 될 수 있다.
지하 포럼에서 사이버 위협 지능(Cyber Threat Intelligence, CTI)을 자동으로 추출하는 다중 에이전트 대형 언어 모델(LLM) 기반 시스템인 DarkBot을 제안한다. 100개의 CrimeBB 대화에서 72.8%의 MITRE ATT&CK 기법을 복구했으며, 7일 동안 평균 3.85개의 CTI 엔티티를 더 수집했다.
시사점 이 연구는 지하 포럼에서 CTI를 자동으로 추출하는 실용적인 방법을 제시하여, 보안 분석의 효율성을 높일 수 있다.
LLM을 활용한 사이버보안 능력 향상을 위해 오픈소스 프레임워크 CyberFactory를 제안하고, 이를 통해 훈련된 모델 Aegis가 기존 모델 대비 22.8포인트 높은 52.4% 성능을 보인다.
시사점 이 연구는 LLM을 활용한 사이버보안 능력 향상을 위한 오픈소스 프레임워크를 제시하여, 실무에서 보안 자동화 도구 개발에 활용될 수 있다.
LLM을 사용하여 Suricata 규칙을 생성하는 프레임워크를 제안한다. 281개 실제 CVE와 실제 IoT 장치의 정상 트래픽을 대상으로 한 실험에서 81.5%의 탐지율과 0.0%의 거짓 긍정률을 달성했다.
시사점 이 연구는 LLM을 활용한 IDS 규칙 생성의 실용성을 입증하며, 보안 실무자에게 자동화된 규칙 생성 도구로서의 가능성을 제시한다.
LLM 에이전트 시스템에서 민감한 데이터의 흐름을 제어하기 위해 흐름 중심 정책 언어와 실행 모델인 AgentFlow를 제안한다. 평가 결과, 949건의 테스트에서 확인된 침해를 33.0%에서 0.0%로 줄이고, 집계 유틸리티를 46.7%에서 63.3%로 향상시켰다.
시사점 이 결과는 LLM 에이전트 시스템에서 민감한 데이터 흐름을 효과적으로 제어할 수 있는 실용적인 보안 프레임워크를 제공한다.
KONTOGRAPH는 200ms 이내로 작동하는 실시간 자금세탁방지(AML) 파이프라인을 제시하고, 156만 건의 시뮬레이션 결제 데이터를 기반으로 실증 연구를 수행했다. 시점별 특징 일관성 검증을 통해 성능 향상과 결정 변경을 확인했으며, 0.26%의 결정 변화와 12%의 경고 증가를 기록했다.
시사점 이 연구는 실시간 AML 시스템에서 모델 변환 시 발생할 수 있는 성능 변화를 주의 깊게 모니터링할 필요성을 강조한다.
스마트 계약 수리에서 오류 전파를 줄이기 위해 문서 파싱, 정적 분석, 트리 오브 씽킹 추론을 결합한 3단계 프레임워크를 제안한다. 50개 실제 취약점에서 62% 단일 성공률과 84% 상위 3개 성공률을 달성했다.
시사점 이 연구는 스마트 계약 수리의 정확성과 실용성을 향상시켜 블록체인 보안을 강화할 수 있다.
LLM이 지시와 데이터를 구분하는 능력을 활용해 IPI 공격을 방어하는 AEGIS 방식을 제안한다. 휴리스틱 및 최적화 기반 공격에 대해 기존 방식 대비 뛰어난 탐지 성능을 보인다.
시사점 LLM 보안 방어에서 안정성과 효율성의 균형을 맞추는 새로운 접근법을 제시한다.
AI 생성 텍스트의 정밀한 속인식을 위해 기존 워터마킹 방법의 한계를 극복한 새로운 다중비트 워터마킹 기법 PURA를 제안한다. 200 토큰에 36비트를 삽입할 때 91.7%의 메시지 일치율을 달성한다.
시사점 PURA는 텍스트 속인식 기술의 정확성과 안정성을 동시에 향상시켜, AI 생성물의 책임 추적과 감사에 실용적으로 활용될 수 있다.
블랙박스 LLM 서비스의 응답 일관성을 분석하여 모델을 식별하는 AdaptPrint 방법을 제안한다. 27개 모델에서 Top-1, Top-3, Top-5 정확도가 각각 80.6%, 90.3%, 92.1%로 기존 방법을 크게 앞선다.
시사점 AdaptPrint는 블랙박스 LLM 서비스의 응답 일관성을 분석하여 모델을 식별하는 방법으로, 보안 및 저작권 감사에 활용될 수 있다.
LLM 코딩 에이전트에서 스킬 주입을 통해 토큰 증폭 공격을 수행하는 새로운 공격 기법을 제안한다. 실제 스킬 벤치마크에서 평균 최대 증폭률 5.4184~10.1455배를 달성했다.
시사점 LLM 에이전트의 스킬 시스템은 토큰 자원을 악용하는 공격에 취약할 수 있으므로, 자원 사용량 모니터링이 필요하다.
로컬에 배포된 대형 언어 모델(LLM)의 탈옥 공격 방어 메커니즘을 감사하고, 각 방어 기법의 실패 원인을 특정 가정에 따라 분석했다. 6개 오픈 웨이트 모델을 대상으로 13,800개 평가 기록을 통해 실험했다.
시사점 로컬 LLM의 탈옥 방어는 가정에 의존하므로, 실무에서는 방어 메커니즘의 설계 가정을 검증해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.