연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
LLM 탈옥 공격을 방어하기 위해 공격 전략을 추상화하여 메서드 수준 규칙으로 저장하고 재사용하는 자체 진화하는 방어 프레임워크를 제안한다. 4가지 블랙박스 탈옥 공격 패밀리와 여러 모델에서 공격 성공률을 크게 줄이며, 정상적인 기능을 유지하고 메모리가 확장되더라도 과도한 거부를 증가시키지 않는다.
시사점 LLM 탈옥 공격에 대응하는 실시간 적응 방어 기법을 제공하여, 지속적인 공격 진화에 효과적으로 대응할 수 있다.
LLM 코딩 에이전트의 보안 취약점을 해결하기 위해 시스템 프롬프트에 보안 기술을 통합하는 SkillShield를 제안한다. RedCode에서 6개의 대형 언어 모델을 대상으로 실험한 결과, 악성코드 생성의 심각도를 3.37에서 0.58로 줄이고 실행 공격 성공률을 43.6%로 나타냈다.
시사점 SkillShield는 LLM 코딩 에이전트의 악성 요청을 방지하는 보안 기술로, 실무에서 즉시 적용 가능한 방어 기법으로 활용될 수 있다.
자가진화하는 LLM 코딩 에이전트가 공유된 스킬 라이브러리에서 악성 스킬을 템플릿으로 사용하여 새로운 악성 스킬을 생성하는 self-poisoning 취약점을 발견하고, 이를 악용하는 EvoMal 공격을 제시한다. 153개의 SWE-bench Verified 작업에서 ASPR(에이전트 자기중독률)은 20.3%에서 41.8%까지이며, 심지어 심도 있는 심도-V4-프로 모델은 11.1%의 ASPR을 보인다.
시사점 자가진화 코딩 에이전트의 스킬 라이브러리 관리 시 악성 스킬이 자가복제되는 self-poisoning 공격 가능성에 주의해야 한다.
스파이킹 신경망(SNN)의 체크포인트 재사용을 위해 출력 헤드가 아닌 내부 막 상태에 워터마크를 삽입하는 MeMark 기법을 제안한다. 20개의 독립 64비트 키가 51/64 검증 규칙을 통과하며, 3만 개의 무작위 키는 통과하지 못하는 결과를 보인다.
시사점 SNN 체크포인트의 소유권 증명을 위해 내부 막 상태에 워터마크를 삽입하는 MeMark 기법을 실무에 적용할 수 있다.
LLM 에이전트에서 분산된 보안 위험을 방어하기 위해 경로 수준 보안 증거를 기반으로 행동 생성을 조건부로 하는 ReDiR 방식을 제안한다. ReDiR은 공격 성공률을 8% 이하로 낮추며, 새로운 도메인으로 전이 가능하고 계산 오버헤드가 낮다.
시사점 ReDiR은 LLM 에이전트의 다중 턴 공격을 방어하는 실용적인 방안으로, 기존 방어 방식보다 효율적이다.
LLM 보안을 위해 Linux 보안 모듈(LSM)의 개념을 적용한 LMSM 프레임워크를 제안한다. Qwen3-4B 모델에서 LMSM-Checkpoint를 사용하면 HarmBench 공격 성공률이 39.20%에서 3.32%로 감소하고 XSTest 거부율은 2.40%에서 4.40%로 증가한다.
시사점 이 연구는 LLM 보안 방안을 표준화하고 확장할 수 있는 새로운 프레임워크를 제시하여, 다양한 보안 모듈을 통합적으로 관리할 수 있게 된다.
대규모 언어 모델(LLM)을 보안 취약점 평가에 통합하면서 발생하는 신뢰성 문제인 'AI slop'을 실증적으로 조사하고, 이를 해결하기 위한 전략을 제시한다. Deductive Coverage Score라는 측정 지표를 제안하고, chain-of-thought 프롬프팅과 도구 사용 에이전트가 이 격차를 줄이는 데 기여하지만 완전히 해소하지 못함을 보인다.
시사점 이 연구는 AI 기반 취약점 평가 시스템의 신뢰성을 높이기 위해 수학적 검증 가능성으로 평가 기준을 전환할 필요성을 시사한다.
다중모달 대형 언어 모델(MLLM)의 제이블레이크 취약성 원인을 분석하기 위해 인수를 분리한 벤치마크 MMJailBench를 제안한다. 16개의 오픈소스 및 프로퍼티어리 MLLM을 대상으로 한 대규모 평가에서 제이블레이크 취약성은 해로운 의도, 프롬프트 구성, 시각적 의미, 지시문 전달 방식에 따라 달라지는 것을 확인했다.
시사점 이 연구는 MLLM의 제이블레이크 취약성을 세분화하여 평가할 수 있는 벤치마크를 제공하여, 모델 보안 강화에 기여할 수 있다.
권한 부여와 증명을 분리하는 보안 아키텍처를 제안한다. 전체 매개변수의 해시를 계산하여 공개 정보를 최소화하면서 기록을 보장한다.
시사점 이 아키텍처는 권한 결정과 정보 공개를 분리하여 보안성을 향상시키며, 실무에서 데이터 최소화 원칙을 구현하는 데 활용할 수 있다.
기존 보안 지침 주입 및 다중 에이전트 피드백 방식의 한계를 분석하고, 기능 정확성과 보안성을 동시에 최적화하는 다중 에이전트 프레임워크 MACGen을 제안한다. CWEval과 BaxBench에서 F&S@1 지표가 평균 19.61pp와 10.57pp 개선되었다.
시사점 코드 생성 시 기능 정확성과 보안성을 동시에 고려하는 다중 에이전트 협업 방식을 실무에 도입할 수 있다.
LLM 추론 과정에서 발생하는 물리적 사이드채널 취약점을 분석하고, 레이저 전압 이미징을 사용하여 모델 자산을 추출하는 공격 기법을 제시한다. FPGA 기반 LLM 가속기에서 공격을 수행하여 타겟 자산의 완전한 복원을 보인다.
시사점 이 연구는 에지 AI 칩에서 LLM 자산을 물리적 공격으로 추출할 수 있음을 보여주어, 에지 기기의 보안 설계 시 사이드채널 공격에 대한 대비가 필요하다.
RAG 시스템의 보안 취약점을 체계적으로 분류하고, 공격 목적과 방어 전략을 파이프라인별로 정리했다. 정량 결과는 원문 참조.
시사점 RAG 시스템을 사용하는 실무자는 공격 범주와 방어 단계를 파악해 보안 설계에 반영해야 한다.
LLM 에이전트가 도구 호출 시 불필요한 개인정보(PSD)를 포함하는 문제를 분석하고, 도구 기능에 필요한 최소한의 데이터만 남기는 중간웨어를 제안한다. 3개 LLM에서 실시간 검증 결과, 개인정보 노출 비용을 81.2~92.0% 줄이며 100%의 작업 유효성을 달성했다.
시사점 LLM 에이전트의 도구 호출 시 불필요한 개인정보를 효과적으로 제거하여 실무에서 개인정보 보호를 강화할 수 있다.
LLM 생성 파이썬 코드의 보안 취약점을 실증적으로 분석하고, 프롬프트 구조가 취약점 분포에 미치는 영향을 밝혔다. GPT-4o의 고위험 취약점은 20.8%에서 13.6%로 감소했으나, 저위험 취약점은 32%에서 43.5%로 증가했다.
시사점 LLM 개발 지원에서 프롬프트 구조는 보안 제어를 대체할 수 없으며, 강력한 보안 조치가 여전히 필요하다.
시스템 프롬프트를 추출해 재배포하는 행위를 탐지하기 위해 Black-Box Behavioral Fingerprinting (BBF) 기법을 제안하고, 4개 모델 가족, 8개 벤치마크, 288,000개의 응답을 대상으로 실증 연구를 수행했다. 동일 모델 탐지에서 AUC 0.876, 교차 모델 탐지에서 평균 AUC 0.725를 달성했으며, 비적응적 프롬프트 변형에도 견디는 것을 확인했다.
시사점 이 연구는 LLM 시스템 프롬프트의 무단 재배포를 탐지하는 실용적인 방법을 제시하여, AI 모델 보호와 관련된 실무에 기여할 수 있다.
GNN 기반 NIDS가 구조적 적대적 공격에 취약하다는 문제를 해결하기 위해 적대적 훈련을 기반으로 방어 프레임워크를 제안한다. CTU-13과 TON-IoT 데이터셋에서 E-GraphSAGE 기반으로 실험한 결과, 정상 그래프에서의 탐지 성능이 우수하고 구조적 공격에 대한 내성이 향상되었다.
시사점 GNN 기반 NIDS의 구조적 공격 내성을 향상시키는 방어 전략을 제시하여, 실제 네트워크 보안 시스템의 신뢰도를 높일 수 있다.
MLLMs에 존재하는 백도어를 모델 수준에서 제거하기 위해 RACER라는 프레임워크를 제안한다. RACER는 백도어가 유발하는 내부 표현의 계층별 불일치를 지역별로 정규화하여 36개의 백도어 설정에서 평균 ASR을 1.1%로 줄였다.
시사점 RACER는 MLLMs에 숨겨진 백도어를 제거하면서 모델 성능을 유지할 수 있는 방안으로, 모델 수준의 방어 기술을 개선하는 데 기여할 수 있다.
AI 음성 에이전트 허니팟을 통해 수집한 10,211개의 전화 사기 및 스팸 전화를 분석하여, 사기 전화의 운영 방식을 밝혔다. 사기 전화는 평일에 6.6배 더 많고, 30개의 반복 스크립트를 사용하며, 15% 더 많은 대화 턴을 노년층에게 제공한다.
시사점 전화 사기는 템플릿화된 운영 방식으로, 노년층을 대상으로 더 적극적으로 접근하는 것으로 나타나, 실무에서는 대상별 대응 전략이 필요하다.
LLM 에이전트에서 프롬프트 인젝션 공격을 방어하기 위해 행동 지침을 지역화하는 Attnlocate 프레임워크를 제안한다. Attnlocate는 0.743의 평균 IoU, 0.956의 평균 AUROC, 0.067의 거짓 양성률에서 0.934의 참 양성률을 달성한다.
시사점 이 연구는 LLM 에이전트의 프롬트 인젝션 공격을 실시간으로 감지하고 방어할 수 있는 새로운 기법을 제시하여, AI 보안 분야의 실무에 즉각적으로 적용될 수 있다.
W3C WebMCP 제안에서 브라우저 내 LLM 에이전트가 웹 페이지 도구를 호출하는 방식의 보안 취약점을 분석하고, 신뢰 경계를 강제하는 이중 레이어 아키텍처를 제안한다. 실험 결과, 100%였던 공격 성공률을 0%로 낮추고, 80개 중 78개의 프롬프트 인젝션을 차단하는 것을 보였다.
시사점 이 연구는 브라우저 내 LLM 에이전트의 보안 아키텍처 설계에 중요한 기준을 제시하며, 실무에서 프롬프트 인젝션 방어 구조를 구현할 수 있다.
RAGSentinel은 검색 증강 생성(RAG) 시스템의 보안 취약점을 방어하기 위해 훈련 없이 레이블 없이 작동하는 방어 기법을 제안한다. 실험 결과, RAGSentinel은 다양한 질문-답변 데이터셋과 LLM 가족, 중독 공격에서 낮은 공격 성공률을 유지하면서 경쟁력 있는 정확도를 보인다.
시사점 RAGSentinel은 적대적 문서를 효과적으로 필터링하여 RAG 시스템의 보안을 향상시킬 수 있어, 실무에서 보안 강화에 활용할 수 있다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.