ClaimMirage: 도메인 이름 내 자체 주장이 LLM 위협 판단을 변화시킬 때
도메인 이름에 포함된 짧은 주장이 LLM의 판단을 어떻게 바꾸는지 분석했다. 622,080개의 판단을 분석한 결과, 자체 주장에 따라 경고가 최대 45.3% 감소하거나 65.6% 증가하는 것으로 나타났다.
시사점 도메인 이름의 자체 주장은 LLM의 판단을 크게 바꿀 수 있으므로, 보안 시스템에서 독립적인 증거를 확인하는 절차가 필요하다.
연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
도메인 이름에 포함된 짧은 주장이 LLM의 판단을 어떻게 바꾸는지 분석했다. 622,080개의 판단을 분석한 결과, 자체 주장에 따라 경고가 최대 45.3% 감소하거나 65.6% 증가하는 것으로 나타났다.
시사점 도메인 이름의 자체 주장은 LLM의 판단을 크게 바꿀 수 있으므로, 보안 시스템에서 독립적인 증거를 확인하는 절차가 필요하다.
자율 보안 테스트 에이전트가 반복적인 도구 선택을 줄이기 위해 버섯체 신경 회로에서 영감을 받은 보상 없는 스케줄링 전략을 평가했다. 실험에서 습관화 기반 스케줄러는 60단계 예산 내에서 중복 동작 비율을 51에서 18로 줄였다.
시사점 보상 기반 접근 대신 생물학적 메커니즘을 모방한 습관화 스케줄링이 펜테스트 효율성을 높일 수 있다.
이미지-텍스트 학습 데이터의 오염을 탐지하기 위해 교차 모달 이웃, 반복 텍스트, 텍스트 구간 삭제 후 변화를 분석하는 6가지 특징을 제안하고, TraceGuard라는 적응형 순위 기반 필터링 방법을 소개한다. TraceGuard는 평균 98.4%의 오염 예제와 5.4%의 정상 예제를 제거하여, 13개 설정에서 잔여 공격 지표가 최대 1%로 나타났다.
시사점 TraceGuard를 사용하면 이미지-텍스트 학습 데이터의 오염을 효과적으로 제거하여 모델 훈련의 신뢰도를 높일 수 있다.
오픈 가중치 대형 언어 모델(LLM)에서 토큰화를 통해 지식 편집과 언러닝의 보안 취약점을 분석하고, 토큰화 기반 사이드채널을 악용한 공격 기법 Toketive를 제안한다. Toketive는 수정된 지식을 84.2% F1 점수로 탐지하고, 수정 전 응답을 74.5% top-5 정확도로 재구성한다.
시사점 LLM의 지식 편집과 언러ting은 토큰화 기반 공격에 취약하므로, 다양한 표현 방식에 대한 적대적 평가가 필요하다.
Node.js 생태계에서 악성 NPM 패키지를 탐지하기 위해 정적 그래프 분석과 LLM 지식 증류를 결합한 DistillGuard 프레임워크를 제안한다. 실험 결과, 정확도 95.3%, 정밀도 99.4%, F1 점수 93.8%를 달성하여 기존 최고 수준 도구를 초과했다.
시사점 Node.js 개발자는 NPM 패키지 설치 시 DistillGuard를 활용해 악성 코드를 효과적으로 탐지할 수 있다.
LLM 기반 자동 펜테스트 허네스에서 결정 모델(JEV, Laya)을 활용해 펜테스트 결과의 정확도와 효율성을 개선하는 방법을 제안한다. NeuroSploit 사례 연구에서 13개 취약점을 대상으로 한 테스트에서 심각도 분포와 실행 시간의 차이를 보였다.
시사점 LLM 기반 펜테스트 허네스의 결정 과정을 개선해 실무에서 보다 신뢰성 높은 펜테스트 결과를 얻을 수 있다.
LLM 에이전트 보안을 위해 애플리케이션 레벨과 커널 레벨의 증거를 결합한 분석을 수행하고, ACE라는 새로운 벤치마크를 제안한다. 4,047개 세션과 17개 위협 모델을 기반으로 커널 레벨 증거가 단독으로 구분력이 있고, 두 레벨의 증거를 결합하면 개별 레벨 분석보다 일반적으로 우수한 성능을 보인다.
시사점 실무에서는 애플리케이션 레벨 분석에 커널 레벨 증거를 추가로 결합하여 LLM 에이전트 보안을 강화할 필요가 있다.
Codetta는 독립적으로 배포된 에이전트 간의 고용량 스테가노그래피 프로토콜로, 기존 기법의 한계를 극복하여 비대칭 상황에서의 탐지 불가능한 공모를 구현한다. 94배의 용량 향상과 80k 토큰 내 키 교환 실패 확률 4.1×10⁻³을 달성한다.
시사점 Codetta는 기존보다 훨씬 높은 용량과 탐지 회피 능력을 가지므로, 에이전트 간 비밀 통신 감시 방식을 재검토해야 한다.
그래프 필터의 출력을 관찰하는 분석가가 주어졌을 때, 입력 신호가 미분 프라이버시 분포에서 추출된 경우 그래프 시프트 연산자의 미분 프라이버시를 연구한다. 입력 신호의 무작위성을 활용하여 GSO를 보호함으로써, 노이즈 추가 없이 기존 방식과 동등한 프라이버시 보호를 달성하고, 프라이버시-유틸리티 트레이드오프를 개선한다.
시사점 이 연구는 입력 신호의 무작위성을 활용한 프라이버시 보호 기법을 제시하여, 기존의 노이즈 추가 방식보다 우수한 트레이드오프를 제공할 수 있다.
블록체인과 인공지능(AI)을 결합하여 분산 시스템에서 데이터 공유, 모델 무결성, 자율 결정을 보장하는 방법을 제안한다. 블록체인의 불변성, 분산 합의, 검증 가능한 기원이 데이터, 모델, 자율 에이전트에 대한 신뢰 문제를 해결한다.
시사점 블록체인과 AI를 결합한 보안 아키텍처를 설계할 때 신뢰성과 확장성, 프라이버시-투명성의 균형을 고려해야 한다.
IoT 침입 탐지 시스템에서 머신러닝 모델이 일반화된 공격 행동을 학습하는지 또는 데이터셋의 단서를 악용하는지 평가했다. 361만 개 이상의 흐름 기록을 사용한 실험에서, 통계적 흐름 행동만 사용할 때 LightGBM, Random Forest, Deep MLP가 유사한 Macro-F1 (92.55~92.58%)를 보였다.
시사점 IoT 침입 탐지 모델이 데이터셋의 단서를 악용하는 경우가 많아, 평가 시 데이터 누수를 방지하는 프로토콜 체크리스트를 따르는 것이 중요하다.
동적 스펙트럼 접근 시스템에서의 검증 가능성과 프라이버시 문제를 해결하기 위해 zkSAS라는 제로지식 증명 시스템을 제안한다. 프로토타입 평가 결과, 증명 생성은 사용자 수에 비례하지만 검증은 가볍고 일정한 시간이 소요된다.
시사점 zkSAS는 스펙트럼 접근 관리 시스템에서 프라이버시를 보호하면서 검증 가능성을 제공할 수 있는 실용적인 솔루션으로, 기존 CBRS SAS 모델과 블록체인 기반 SAS 모델에 적용 가능하다.
Jev라는 비생성형 결정 모델에서 510개의 InjecAgent 사례를 재구성하여 프롬프트 인젝션 공격의 영향을 분석했다. 악의적인 콘텐츠는 행동 확률을 변화시키지만 공격자의 대상 선택은 드물며, 적응형 공격은 최대 공격자 대상 확률을 1.8%에서 3.5%로 높였다.
시사점 비생성형 모델에서도 프롬프트 인젝션 공격이 일부 영향을 미친다는 점을 실증하여, 스키마 정의 출력 내에서 신뢰할 수 없는 콘텐츠의 영향을 평가할 필요성을 강조한다.
CPython의 전역 인터프리터 잠금(GIL) 제거로 인한 동시성 문제를 해결하기 위해 CONCURDEP라는 정적 분석 도구를 제안한다. 3개의 CPython 릴리스를 분석하여 144개의 버그를 발견했으며, 그 중 95개는 공개된 바 없는 새로운 버그이다.
시사점 이 연구는 CPython의 동시성 문제를 식별하고 해결하는 데 도움이 될 수 있으며, 특히 GIL 제거 후 발생할 수 있는 런타임 오류를 예방하는 데 기여할 수 있다.
연방 학습 환경에서 라벨 뒤집기 공격이 침입 탐지 시스템에 미치는 영향을 실증적으로 분석하였다. 60% 라벨 뒤집기 공격으로 공격자의 정확도가 99.96%에서 84.33%로 감소하는 현상을 관찰하였다.
시사점 연방형 침입 탐지 시스템에서 라벨 뒤집기 공격이 자체적으로 공격자의 성능을 저하시키는 현상을 활용해 비잔틴 클라이언트를 탐지할 수 있다.
에이전트 시스템에서 승인 인터페이스의 기록-폐쇄 관계를 체계적으로 분석하고, 승인 랜더링 문제를 해결하기 위한 벤치마크와 예측 기반 접근법을 제안한다. 111개 승인 객체/트레이스 쌍에서 잔여 기록이 명령 의미론과 결정 시 메타데이터를 통해 각각 40에서 17, 13으로 감소했으며, 11개 고정-SHA 실행에서 메타데이터 잔여 기록이 0까지 감소했다.
시사점 에이전트 시스템의 승인 랜더링 문제를 인식하고, 승인 전에 실행 경로의 전이적 영향을 예측하고 기록하는 방법을 도입해야 한다.
도구 호출 기반 대형 언어 모델(LLM) 에이전트에서 지속적 청구 상태(persistent billable state)를 정의하고, 이를 악용한 6가지의 지갑 거부 공격 벡터를 제시한다. 243회 실행에서 최대 14,293배의 입력 증가를 관찰했으며, 방어 기법으로 압축 성공률 10/12~11/12를 달성했다.
시사점 LLM 에이전트의 도구 호출 기반 청구 상태 관리가 필요하며, 지속적 청구 상태를 제어하는 방어 기법을 도입해야 한다.
다단계 LLM 기반 사이버 에이전트가 공격 흐름을 완료하지만 취약하고 비용이 많이 든다는 점을 분석했다. 6개의 최첨단 모델을 기업 유사 환경에서 평가하여 병목 현상이 자격 증명 및 측면 이동 작업에 집중되고 완전 자율 운영 시 더 다양하게 나타난다는 것을 보였다.
시사점 이 연구는 사이버 에이전트 시스템의 신뢰성 평가 시 성공률 외에도 증거 해석, 자원 사용, 실패 후 적응을 함께 평가해야 한다는 점을 시사한다.
동영상 생성 에이전트 시스템에서 생성된 실행 추적이 검증기의 판단을 왜곡하는 문제를 분석하고, 이로 인해 검증기의 실제 통과율이 낮아지는 현상을 보인다. 실험 결과, 실행 추적이 성공적인 도구 호출을 보고하면 78~90%의 실패 동영상이 수용되고, 모순적인 추적이면 100%의 올바른 동영상이 거부된다.
시사점 동영상 생성 에이전트 시스템의 검증 과정에서 실행 추적 정보가 검증기의 판단을 왜곡시킬 수 있으므로, 검증 시 실행 추적을 제외하고 순수하게 시각 정보만을 기반으로 판단하는 방식이 필요하다.
LLM이 코딩 에이전트를 통해 작동할 때 모델 식별을 위해 실행 동작을 분석하는 새로운 지문 추출 기법인 LIDAR를 제안한다. 36개 모델에서 Top-1 정확도와 MRR에서 기존 기법을 초과하는 성능을 보인다.
시사점 이 연구는 코딩 에이전트 환경에서 LLM 모델 식별을 위한 새로운 접근법을 제시하여, 모델의 보안성과 신뢰성을 평가하는 데 유용할 수 있다.
스마트폰 앱이 사용자 데이터를 분석해 개인정보를 유출하는 방식을 조사하고, 이를 기반으로 OS 수준의 보안 제안을 제시한다. 465명의 참여자 실험에서 권한 허용 의향이 감소했다.
시사점 스마트폰 OS는 사용자에게 데이터 접근 권한의 후속 사용 가능성에 대한 정보를 더 명확히 제공해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.