연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 신뢰 실행 환경(TEE)과 타이밍 부채널 경화 기법을 결합하여 처리 및 공개 단계에서 민감한 데이터를 보호하는 MammothDP를 제안한다. 이 프레임워크는 프라이버시 필터 내에서 사용될 때 증명 가능한 DP를 달성하며, 새로운 조기 중지 기준과 개선된 롤백 보호 기능을 포함한다.
시사점 민감한 데이터 분석 시 TEE와 DP를 결합하는 것은 가능하며, 이를 위한 새로운 구성 요소들을 도입하여 보안과 유틸리티의 균형을 맞출 수 있다.
본 연구는 사건 모델, 객체, 증거 및 SOC 경보, 학습자 과제 등을 통합한 시나리오 모델을 구축하고, LLM을 사용하여 해당 모델 기반의 시나리오 텍스트를 생성하는 방법을 제시하였다. 가상 SOC 프로토타입에서 이를 검증한 결과, 모델 요소 간의 일관성이 확인되었으며 모델 기반 및 생성적 접근 방식의 실현 가능성을 입증하였다.
시사점 LLM과 모델링을 결합하여 가상 SOC 환경에서 일관성 있는 사이버 보안 교육 시나리오를 자동 생성하는 것이 가능하다.
본 연구는 백도어 공격을 받은 멀티모달 대비 학습 모델의 인코더가 구조 의존적 표현 민감도를 보인다는 점을 관찰하고, GARD라는 공격 및 트리거에 독립적인 사후 방어 기법을 제안했다. GARD는 공격 성공률을 1% 미만으로 낮추면서도 경쟁적인 클린 정확도를 유지하는 것을 모든 평가 조합에서 입증했다.
시사점 멀티모달 대비 학습 모델의 백도어 공격에 대응하기 위해 공격 및 트리거에 독립적인 표현 공간 방어 기법을 적용할 필요가 있다.
본 연구는 특정 프롬프트로부터 주어진 토큰 시퀀스가 나왔음을 비트 단위로 증명하는 Sable이라는 증명 시스템을 제시했다. 이 시스템은 Qwen2.5-32B 모델의 64개 레이어를 하나의 GPU에서 92.5초 만에 증명했으며, 검증은 단일 CPU 코어에서 19~56초가 소요된다.
시사점 이 증명 시스템은 공개 가중치 모델에 대한 추론의 정확성을 검증하는 새로운 방법을 제공한다.
연구진은 KEEP 및 H-MARL Expert 두 가지 참조 방어기를 재현하며, 시뮬레이터가 이전 행동이 실행 중인 에이전트의 행동을 조용히 무시하고 이를 점수화하는 결함을 발견했다. 또한, 평가 시드(seed)가 정책이 아닌 환경에 할당되어 있어 보고된 평균값은 단일 드로우에 불과하며, 각 점수 산정의 근거가 불분명함을 지적했다.
시사점 벤치마크의 측정 기준, 샘플링 과정, 적대적 환경 설정에 대한 투명한 공개가 필요하다.
본 연구는 벡터 데이터베이스에 저장된 문서에 적용되는 기하학적 변환을 통해 접근 제어를 구현하는 RAG 시스템의 보안을 분석했다. 연구 결과, 이러한 기하학적 변환은 검색 유용성과 정책 격리는 유지하지만, 기밀성이나 위조 저항성 등 다른 보안 속성은 제공하지 못함을 발견했다.
시사점 정책 격리, 기밀성, 위조 저항성, 멤버십 은닉은 별개의 보안 목표이므로 각 속성에 맞는 기법을 고려해야 한다.
본 연구는 완전 연결(FC) 계층의 집계 그래디언트가 입력값들의 아핀 조합임을 이용하여, 선형 또는 아핀 부분 공간 정보를 활용한 그래디언트 역변환 공격을 평가했다. 이 공격은 특정 설정에서 기존 공격 기법 대비 복원 품질을 상당히 향상시킬 수 있음을 보여주었다.
시사점 연합 학습 환경에서 전송되는 그래디언트가 민감 정보를 포함하고 있으므로, 공격에 대한 방어적 고려가 필요하다.
본 연구는 에이전트 기반 코딩 하네스를 대상으로, 지능과 권한의 분리를 기반으로 하는 ActiveSecHarness라는 신경기호적 참조 모니터 아키텍처를 제시했다. 이 아키텍처는 12.7 $\mu\mathrm{s}$의 지연 시간으로 $\mathrm{ABR}=1.000$ 및 $\mathrm{FPR}=0.000$을 달성하며, 이는 기존 방식 대비 현저히 빠르다.
시사점 에이전트 시스템의 보안은 개별 모델의 속성이 아닌 인지 아키텍처와 권한 구성의 구조적 속성으로 접근해야 한다.
본 연구는 단일 마이크만으로 키보드 소리를 이용해 입력된 텍스트를 복구하는 음향 부채널 공격(ASCA)의 성공 여부를 탐구했다. 공격 모델을 도메인 불변하게 만들고 언어 모델로 잡음을 보정함으로써, 이 공격이 다양한 키보드, 사용자, 환경에서도 성공함을 입증했다.
시사점 키보드 입력 소리를 이용한 공격은 이상적인 실험실 환경을 넘어 실제 환경에서도 성공할 수 있으므로 이에 대한 방어적 고려가 필요하다.
본 연구는 LLM 기반의 다중 에이전트 시스템에서 발생하는 메모리 오염 공격에 대응하기 위해 지식 기반에 서명 시스템을 도입한 아키텍처를 제안한다. 이 아키텍처는 로컬 추론 시스템과 외부 지식 기반을 결합하고, 각 지식 접근에 대해 k-익명성 및 정보 이론적 프라이버시(IT-PIR)를 적용하여 보안을 구현한다.
시사점 LLM 기반 에이전트 시스템을 구축할 때, 외부 지식 기반과의 상호작용에 보안 메커니즘을 내재화하는 것이 메모리 오염 공격을 방어하는 데 중요하다.
본 연구는 실제 엔드포인트 환경에서 명령 및 제어(C2) 셸코드를 실행하는 에이전트의 방어 우회 능력을 체계적으로 평가하기 위해 BypassGym을 구축하였다. 이 벤치마크를 통해 일부 경량 모델 백엔드가 특정 EDR 제품을 우회하는 데 성공했음을 확인하였다.
시사점 AI 에이전트의 엔드포인트 방어 우회 능력을 측정하는 체계적인 방법론이 제시되었으므로, 방어 측면에서 이에 대한 대비가 필요하다.
본 연구는 동형 암호(HE)의 높은 계산 오버헤드를 해결하기 위해, 열/대각선 패킹 및 회전 없는 알고리즘을 결합한 MOAI라는 효율적인 비대화형 안전 추론 프레임워크를 제안하였다. 이 프레임워크는 BERT-base 추론에서 기존 최신 연구 대비 52.8%의 평가 시간 단축을 달성하였다.
시사점 LLM 추론 시 동형 암호를 적용할 때 발생하는 계산 오버헤드를 줄이기 위해, 패킹 및 회전 없는 알고리즘을 결합한 최적화된 아키텍처를 고려해야 한다.
연구진은 프롬프트에 따라 달라지는 어텐션 엔트로피 편차를 각 프롬프트의 사전 기준선에 맞춰 보정하여 모델의 잔차 업데이트를 적응적으로 조절하는 TERM이라는 추론 시점 방어 기법을 제안했다. 이 방법은 Llama, Qwen, Gemma 모델들을 대상으로 7가지 탈옥 공격과 2가지 과잉 거부(over-refusal) 벤치마크에서 낮은 과잉 거부율을 유지하며 탈옥 공격에 대한 견고성을 향상시켰다.
시사점 LLM의 탈옥 공격에 대응하기 위해 입력에 따라 모델 내부 상태를 동적으로 조절하는 추론 시점 방어 기법을 고려할 수 있다.
본 연구는 프롬프트에 따라 달라지는 어텐션 엔트로피 편차를 사용하여 모델의 잔차 업데이트를 적응적으로 조절하는 추론 시점 방어 기법인 TERM을 제안하였다. 이 방법은 Llama, Qwen, Gemma 모델에 대해 탈옥 공격에 대한 견고성을 향상시키면서도 정상 요청에 대한 거부율은 낮게 유지함을 보였다.
시사점 LLM의 탈옥 공격에 대응하기 위해 입력에 의존하지 않고 모델 내부의 잔차 업데이트를 동적으로 제어하는 방어 기법을 고려할 수 있다.
본 연구는 데이터 부족 상황에서 클라이언트 모델을 탐지하기 위해 SURA라는 데이터 효율적 탐지기를 제안했으며, 이는 6가지 백도어 공격에 대해 단 10장의 클린 서버 이미지만을 사용하여 기존 방법보다 우수한 성능을 보였다.
시사점 연합 학습 환경에서 백도어 공격을 탐지할 때, 적은 양의 클린 데이터를 효율적으로 활용하는 탐지 기법이 필요하다.
본 연구는 공개 레지스트리에서 가져온 제3자 스킬의 의사결정 규칙을 오염시켜 정상적인 기능을 유지하면서도 잘못된 작업을 유도하는 StealthyPoison 공격을 제안하였다. 이 공격은 566개의 대상 스킬과 5,244개의 요청에 대해 평가되었으며, 공격 성공률을 HotFlip 및 GCG 대비 13.6% 향상시켰다.
시사점 LLM 에이전트가 외부 스킬에 의존할 경우, 해당 스킬의 절차적 오염을 통해 공격자가 에이전트의 동작을 조작할 수 있으므로 이에 대한 방어적 검증이 필요하다.
본 논문은 AI 시스템의 생애주기 동안 생성되는 증거물에 초점을 맞춘 포렌식 AI 생애주기(FALC) 모델을 개발하였다. 이 모델은 수사관에게는 체계적인 증거물 탐색의 기반을, 연구자에게는 새로운 기법이 필요한 영역을 분류하여 제시한다.
시사점 AI 시스템이 범죄에 연루되었을 때, 어떤 증거물을 찾아야 하고 어떤 분석 기법이 필요한지에 대한 체계적인 접근 방식을 제공한다.
본 연구는 웹 에이전트의 실행 워크플로우를 네 단계로 추상화하고, 악의적 프롬프트 등 세 가지 공격 유형을 다루는 평가 프레임워크인 WebTrap Farm을 구축하여 분석했다. 그 결과, 기존 웹 에이전트들은 취약하며, 배포된 에이전트의 보안은 하네스(harness)와 백엔드 모델 모두에 의해 공동으로 결정됨을 밝혔다.
시사점 웹 에이전트의 보안은 모델 중심적 방어에서 벗어나 워크플로우 단계별 하네스 수준의 보안 설계로 나아가야 한다.
연구진은 공격 목표로 무작위 비악의적 행동을 사용하는 새로운 합성 평가 데이터셋을 설계하여 프롬프트 인젝션의 견고성을 평가했다. 이 평가를 통해 고도화된 공격자가 기존에 견고하다고 여겨지던 모델도 도구 출력 지침을 따르도록 속일 수 있음을 입증했다.
시사점 현재의 방어 기법은 점점 더 능력이 향상되는 공격자에게 대응하기 위해 능동적이고 자동화된 적대적 테스트가 필요하다.
본 연구는 공개 모델에 경량 어댑터(LoRA)를 적용할 때 발생하는 데이터 소유자와 제공자 간의 보안 문제를 해결하기 위해, 전적으로 안전 다자 컴퓨팅(MPC)을 사용하여 미세 조정하는 VeilTune 프로토콜을 제시했습니다. VeilTune은 RoBERTa-large 기반의 네 가지 소수샷 작업에서 평문 훈련과 거의 유사한 성능을 보였으며, SecP-Tuning 대비 평균 5.3%p 높은 정확도를 달성했습니다.
시사점 민감한 데이터로 사전 학습된 대규모 언어 모델을 안전하게 맞춤 설정하려면, MPC 기반의 새로운 프로토콜을 적용하여 중간 단계의 정보 유출을 막아야 한다.
본 연구는 스마트폰의 마이크와 스피커를 이용해 초음파 신호를 발생시키고 생체 특징을 포착하여 비디오 콘텐츠의 시공간적 특징과 융합한 새로운 생체 인식 비디오 워터마킹 방법인 UltraGuard를 제안했다. 이 방법은 전송 및 전파 과정 중에도 위변조 및 편집 공격에 효과적으로 대응함을 실험적으로 입증했다.
시사점 실시간 온라인 환경에서 얼굴 비디오의 무단 사용을 막기 위해 초음파 기반의 동적 워터마킹 기술을 적용할 수 있다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.