오픈웨이트 LLM에서 트리거 태그 메커니즘의 취약성 분석
오픈웨이트 언어 모델에서 조건부 남용 탐지를 위한 트리거 태그 메커니즘의 공격 표면을 분류하고, 공통 공격 프레임워크를 제안하여 기존 메커니즘의 효과성을 무력화시켰다. 기존 트리거 태그 메커니즘은 공격 시 완전히 무효화된다.
시사점 오픈웨이트 LLM에서 트리거 태그를 남용 탐지 수단으로 사용하는 것은 공격에 취약하므로, 보완 방안을 모색해야 한다.
연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
오픈웨이트 언어 모델에서 조건부 남용 탐지를 위한 트리거 태그 메커니즘의 공격 표면을 분류하고, 공통 공격 프레임워크를 제안하여 기존 메커니즘의 효과성을 무력화시켰다. 기존 트리거 태그 메커니즘은 공격 시 완전히 무효화된다.
시사점 오픈웨이트 LLM에서 트리거 태그를 남용 탐지 수단으로 사용하는 것은 공격에 취약하므로, 보완 방안을 모색해야 한다.
컴퓨터 사용 에이전트(CUA)가 브랜치 조종 공격(branch steering attacks)에 취약하다는 것을 보이고, STEER-Bench 벤치마크와 COBRA 방어 아키텍처를 제안한다. STEER-Bench에서 표준 CUA는 94.4%의 공격 성공률을 보였고, COBRA는 공격 성공률을 0%로 낮추며 97%의 정상 기능을 유지한다.
시사점 COBRA 아키텍처를 도입하면 CUA의 브랜치 조종 공격에 대한 취약성을 효과적으로 방어할 수 있다.
SecJev는 보안 작업에서 복잡한 관찰과 명시적 정책을 결정으로 전환하는 Jev 유사 결정 모델을 보안 분야에 특화시킨 것이다. SecJev-0.8B 모델은 일반적인 Kev-9B 모델보다 작업-매크로 정확도에서 20.51%포인트 높은 성능을 보였다.
시사점 SecJev는 보안 작업에서의 결정 정확도를 높여 보안 자동화 시스템의 신뢰성을 향상시킬 수 있다.
LLM 에이전트의 보안 문제를 해결하기 위해 보안 의식적 정적 분석 프레임워크인 AgentSecGraph를 제안하고, 67개 실제 LLM-에이전트 저장소를 기반으로 한 벤치마크 AgentSecBench를 구축했다. AgentSecGraph는 65개 저장소에서 23,866개의 정적 보안-민감한 작업 후보를 식별하고, 9,821개(41.15%) 후보에 대해 소스-작업 의존성 증거를 복구했다.
시사점 이 연구는 LLM 에이전트의 보안 분석을 위한 새로운 프레임워크와 벤치마크를 제공하여, 실무에서 보안 취약점을 식별하고 관리하는 데 도움이 될 수 있다.
ICS 텔레메트리에서 적대적 행위를 재구성하는 문제를 해결하기 위해 디지털 트윈(DT)을 활용한 프레임워크를 제안한다. DT를 사용한 매핑은 평균 34.1%의 FP 감소를 보였으며, Co-occurrence 관계 9개 중 8개를 복구했다.
시사점 ICS 보안 분석에서 디지털 트윈을 활용한 텔레메트리 매핑이 잠재력을 보이나, 실용적 분석사 지원은 아직 제한적이다.
자동 펜테스트 에이전트가 다단계 공격을 수행하는 방식을 방어하기 위해, 기존 허니팟의 한계를 극복한 AgentTrap이라는 새로운 허니팟 기법을 제안한다. AgentTrap은 보호 대상 애플리케이션에 기반한 상태 기반 기만과 행동 유도를 통해 펜테스트 에이전트의 성공률을 95.8%에서 79.2%로 줄이고, 18.8%의 경우 공격자의 API 키를 유도하는 데 성공한다.
시사점 AgentTrap은 자동 펜테스트 에이전트에 대한 방어 전략으로, 허니팟의 적응성을 높여 공격 성공률을 낮추고 공격자 정보를 수집할 수 있다.
Kubernetes 환경에서 대규모 언어 모델(LLM) 에이전트의 보안 문제를 해결하기 위해 7단계 방어-in-Depth 프레임워크와 9개의 설계 원칙을 제안한다. 이 프레임워크는 Kubernetes의 네이티브 및 널리 사용되는 메커니즘을 매핑하여 구현 가능성을 보인다.
시사점 이 연구는 Kubernetes 환경에서 AI 에이전트의 보안을 강화하기 위해 방어-in-Depth 전략을 실제 구현 가능한 아키텍처로 제시하여 클라우드 네이티브 보안 실무에 적용 가능하다.
LLM 워터마킹의 삭제 공격 취약성을 개선하기 위해 Reed-Muller 코드를 활용한 새로운 방식을 제안한다. OPT-1.3B와 Llama-3.1-8B-Instruct 모델에서 기존 방법보다 삭제/재작성 공격에 강한 성능을 보였다.
시사점 삭제 공격에 강한 워터마킹 기법을 통해 LLM 생성물의 추적 정확도를 높일 수 있다.
FROST2 임계 서명 방식의 보안 한계를 해결하기 위해 추가 전처리 토큰 검증을 통합한 FROST2+를 제안한다. ZCash 라이브러리 기준 성능은 FROST2와 유사하며, 사전 계산이 활성화된 경우 FROST보다 64-79% 빠르다.
시사점 FROST2+는 기존 FROST2보다 높은 보안 수준을 제공하면서도 실용적 효율성을 유지하므로, 블록체인 및 분산 시스템에서 임계 서명을 구현할 때 고려해야 한다.
에이전트가 장기적이고 자율적으로 작동하면서 권한 관리가 어려워지고 있다. Pincer는 디지털 트윈을 활용해 사용자별 최소 권한 정책을 동적으로 학습하고 적용하는 새로운 방어 기법이다. 평가 결과 Pincer는 보안과 유틸리티 측면에서 기존 기법보다 우수한 성능을 보였다.
시사점 Pincer는 사용자별 최소 권한 정책을 자동으로 학습하고 적용함으로써 에이전트 보안을 강화할 수 있다.
기존 IIoT 침입 탐지 시스템은 패킷 특징이나 트래픽을 변조하는 방식의 공격을 주로 대상으로 삼는다. Phantom State 공격(PSA)은 탐지 시스템의 시간 동기화 기반 모니터링 파이프라인을 공격하여, 관측 데이터의 시간적 분포를 조정함으로써 실제 상태와 다른 가상 상태를 재구성하는 새로운 공격 기법이다.
시사점 이 연구는 IIoT 환경에서 시간 기반 침입 탐지 시스템의 취약점을 드러내며, 시간 동기화 기반 모니터링의 보안 강화 필요성을 시사한다.
CITADEL은 대규모 언어 모델(LLM)과 데이터 흐름 그래프(DFG)를 활용하여 하드웨어 트로이 목마(Hardware Trojans)를 자동 생성하는 프레임워크이다. 실험 평가에서 생성된 트로이 목마는 100% 문법적으로 올바르고 대규모 무작위 시뮬레이션에서 감지되지 않았으며, 의도된 활성화 조건 하에서 기능적으로 작동한다.
시사점 CITADEL은 하드웨어 보안 분야에서 실용적인 트로이 목마 벤치마크를 생성하는 데 활용될 수 있다.
AI 코드 에이전트는 신뢰할 수 없는 시스템 구성요소이지만 개발자 머신에서 자율성을 필요로 하므로 보안 문제가 된다. SideKernel은 사용자 조사와 비교 분석을 통해 개발된, macOS용 오픈소스 microVM 기반 샌드박스이다.
시사점 이 연구는 AI 코드 에이전트의 보안 문제를 해결하기 위한 사용자 친화적인 샌드박스를 제안하여, 개발 환경에서의 보안 관행을 개선할 수 있다.
양자 컴퓨터에 대비한 스테이블코인 보안을 체계적으로 정리하고, 위협 모델과 이전 전략을 분류했다. 스테이블코인 특화 보안 문제와 이전 요구사항을 규제와 관련지었다.
시사점 이 연구는 양자 컴퓨터 시대에 스테이블코인의 보안을 강화하기 위한 전략을 제시하며, 실무에서는 이에 따른 위험 평가와 이전 계획 수립이 필요하다.
대규모 언어 모델(LLM)의 입력 시퀀스 변이에 대한 내구성을 평가하고 개선하는 모델, 방법, 알고리즘을 개발하였다. R_stab(f) 지표를 제안하고, LLM-as-a-Judge 시스템에서 ASR 73.8%에 달하는 적응형 공격 기법을 제시하였다.
시사점 LLM의 입력 변이에 대한 내구성을 평가하고 개선하는 새로운 지표와 방어 기법이 제안되어, 실제 시스템에서의 보안 강화에 활용될 수 있다.
개인 정보(PSI)가 LLM에 의해 유출되는 문제를 해결하기 위해 Whiteout이라는 도구를 제안한다. Whiteout은 정밀하게 설계된 가명화 샘플을 사용하여 PSI를 덮어씌워 유출을 방지하며, 모델의 유틸리티와 안전성에 거의 영향을 주지 않는다.
시사점 이 도구는 LLM에서 개인 정보 유출을 효과적으로 방지하면서 모델 성능을 유지할 수 있는 실용적인 솔루션을 제공한다.
차분 프라이버시(DP)의 여러 개념을 정보 이론적 프레임워크로 통합하여 정보 동등성과 정보 손실을 분석했다. 가우시안-혼합 소음에서 최대 45%의 노이즈 분산 감소와 8.73%포인트의 테스트 정확도 향상을 보였다.
시사점 차분 프라이버시 계산 시 RDP 곡선을 사용하면 zCDP보다 정보 손실을 줄이고 정확도를 향상시킬 수 있다.
이 연구는 GraphRAG 파이프라인의 보조 구조를 공격하는 새로운 방법인 Hop-Decayed Influence(HDI)를 제안한다. HDI는 쿼리에 따른 영향력 전파를 통해 보조 구조를 조작하여 88-94%의 공격 성공률을 달성했으며, 수정된 구조는 기존 방어 기법을 99% 이상 우회할 수 있음을 보인다.
시사점 GraphRAG 파이프라인의 보조 구조를 조작하는 공격이 가능하므로, 해당 구조에 대한 실시간 검증이 필요하다.
LLM 다중 에이전트 시스템에서 에이전트-인-더-미들 공격을 방어하기 위해 통신 계층 무결성 원시체 MIRROR를 제안한다. MIRROR는 단일 정규화된 페이로드를 k개의 논리적 경로로 복제하고, 엄격한 다수의 경로가 동일한 해시를 보고할 때만 메시지를 수용한다.
시사점 이 연구는 LLM 다중 에이전트 시스템에서 공격자가 메시지를 조작하는 것을 방지하는 새로운 방식을 제시하여, 실무에서 통신 보안을 강화할 수 있다.
대형 언어 모델(LLM)은 단독으로는 거부되지만, 무해한 작업과 결합된 경우 해로운 의도를 숨기는 탈옥 공격에 취약할 수 있다. 본 연구는 이러한 조합적 의도 숨기기 탈옥 공격을 정보 이론적 관점에서 분석하고, 다양한 번들 크기와 쿼리 생성기에서의 탈옥 효과성과 타겟 행동 보존을 평가했다.
시사점 이 연구는 LLM의 탈옥 공격 방어를 위해 조합적 쿼리의 의도 분석 강화가 필요함을 시사한다.
임베디드 포스트-퀀텀 암호화 최적화는 주로 명령어 수준 최적화에 집중되어 있다. Arm Cortex-M7에서 ML-KEM을 사례로, 메모리 계층 활용, 주변장치 통합, 시계 설정 등을 통해 추가적인 성능 향상을 보인다. 평가 결과, 기존 최적화 구현 대비 2.5%의 사이클 감소를 기록했으며, 특정 공개 데이터 재사용 프로파일을 통해 암호화 및 복호화 사이클을 각각 최대 74.6%와 58.8%까지 감소시켰다.
시사점 임베디드 시스템에서 포스트-퀀텀 암호화의 성능 향상을 위해 시스템 수준 최적화가 필요하다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.