연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 생성형 AI 모델의 출처를 검증하기 위해, 임베딩 과정에 대한 영지식 증명(zero-knowledge proof)을 결합한 PP-Mark라는 워터마킹 프레임워크를 제안했다. 이 프레임워크는 표준 암호학적 가정 하에 위변조 불가능성을 형식적으로 증명했으며, 두 가지 잠재 확산 모델(latent-diffusion models)을 대상으로 블랙박스 위변조, 화이트박스 최적화, 재생 공격에 대한 저항성을 입증했다.
시사점 생성형 AI 생성물의 출처를 검증할 때, 위변조가 불가능한 방식으로 워터마킹을 적용하는 것이 중요하다.
본 연구는 LLM 에이전트의 메모리 관리 실패 유형인 정보의 구식화와 메모리 오염을 정형화하고, 이를 모두 처리하는 견고성 측정 지표인 ECA를 도입했다. 연구진은 단일 대화 기반의 공격 및 변경 시나리오를 통해 메모리 관리자를 미세 조정하여 비정형화된 관리자에 비해 전반적인 ECA 점수를 두 배 이상 향상시켰다.
시사점 LLM 에이전트의 장기 기억을 사용할 경우, 정보의 최신성과 외부 공격에 대한 견고성을 확보하는 것이 중요하다.
본 연구는 운영 기술(OT) 환경에 대한 AI 기반 공격에 대응하기 위해, 방어 태세를 부분적으로 관측 가능한 의사결정 문제로 모델링한 적응형 동적 보안 프레임워크(ADS-OT)를 제시한다. 이 프레임워크는 안전 거버넌스 계층 하에서 강화 학습 정책을 사용하여 모니터링, 접근, 기만 및 분할을 조정함으로써 정적 기준선 대비 공격 경로 완료, 탐지 및 격리 성공률을 낮춘다.
시사점 OT 환경에서 AI 공격에 대응하려면 정적 방어 대신 강화 학습 기반의 동적이고 적응적인 보안 프레임워크를 도입해야 한다.
본 연구는 에이전트가 태스크 수행 중 필요한 권한을 동적으로 획득하고 해제할 수 있는 '탄력적 최소 권한' 개념을 제안한다. 이 접근 방식은 권한 사용 비용을 플래너에게 가시화하여 낮은 권한 선택을 유도하고, 사용하지 않는 권한은 자동으로 기본 수준으로 복귀시킨다.
시사점 AI 에이전트의 실행 단계에서 필요한 권한을 동적으로 관리하는 새로운 접근 방식을 고려해야 한다.
연구진은 8개 모델에 대해 544가지 시나리오를 실행하며 도구의 권한 정보를 제공하는 것이 과도한 권한 선택을 줄이는지 조사했다. 가장 강력한 설정에서 안전한 완료율은 기준선 18.8%에서 51.1%까지 상승했다.
시사점 도구의 권한 정보를 제공하는 것은 시행착오를 줄이는 데 비용 효율적인 보완책이 될 수 있다.
연구진은 명령어 실행 전 각 명령어를 스냅샷 샌드박스에서 사전 실행하고 관찰된 효과를 독립적인 승인자에게 보고하는 Caper를 제안했습니다. Caper는 SABER에서 6.7%의 유해 결과율을 보였으며, YoloFS-Ext에서는 7.8%의 유해 결과율을 기록했습니다.
시사점 자율 에이전트의 명령어 실행 승인 시, 코드 실행 전후의 효과를 검증하는 메커니즘이 유해한 명령어 실행을 줄이는 데 효과적이다.
본 연구는 안전 아키텍처와 재귀적 안전 개선(RSI)을 통해 LLM의 안전성을 확보하고, 추론 시뮬레이션을 통해 형식적 추론을 확장한 Safin-1.5를 제안했다. 실험 결과, Safin-1.5는 안전 및 추론 성능 면에서 최신 모델들을 능가하는 성능을 보였다.
시사점 LLM의 안전성을 확보하고 능력을 향상시키기 위해 안전 지식 격리 및 재귀적 피드백 루프를 통합하는 접근 방식이 유효하다.
본 연구는 LLM이 통합된 O-RAN 제어 루프가 런타임 프롬프트 인젝션 및 잔여 가상 프롬프트 인젝션(VPI) 공격에 취약함을 지적하고, 이를 완화하기 위해 폐쇄 루프 의도 일관성 레이어(CLIC)를 제안했다. CLIC를 적용한 결과, 공격 성공률을 0.92에서 0.29로, 잔여 VPI 공격 성공률을 0.37에서 0.04로 감소시켰다.
시사점 LLM을 O-RAN 제어에 통합할 경우, 공격으로부터 시스템의 의도 일관성을 유지하기 위한 검증 메커니즘이 필수적이다.
본 연구는 검색 증강 생성(RAG) 시스템의 지식 오염(knowledge poisoning)에 대응하기 위해, 방어 전후의 깨끗한 및 오염된 응답을 함께 검토하는 정렬된 RAG 평가(Aligned RAG Evaluation) 프로토콜을 도입했다. 실험 결과, 기존 방어 기법이 예상치 못한 목표 긍정 답변을 유발할 수 있으며, 평가 기준 자체가 방어 순위를 바꿀 수 있음을 발견했다.
시사점 RAG 방어의 효과를 평가할 때는 공격 성공률(ASR) 외에 보다 포괄적인 평가 기준을 적용해야 한다.
본 연구는 모델 능력에 맞춰 보안 및 기능성을 동시에 평가할 수 있는 자동화된 데이터셋 생성 파이프라인 RiskyPy를 소개하였다. 이 파이프라인을 사용하여 생성된 작업 중 57-72%가 기능적으로 접근 가능했으며, Bandit 탐지에서 벗어난 생성물은 5-10%에 불과했다.
시사점 LLM 코드 생성의 보안 개선 접근법을 평가하려면 보안과 기능성을 동시에 측정할 수 있는 데이터셋이 필요하다.
본 연구는 취약점 탐지 시 LLM 에이전트의 성능을 좌우하는 정적 하네스를 워크플로우 기반 최적화 루프를 통해 반복적으로 개선하는 MetaVul 프레임워크를 소개한다. 이 프레임워크를 적용한 결과, 검증 세트에서 최대 23.3%p, 홀드아웃 세트에서 최대 25.8%p의 쌍별 취약점 탐지 성능 향상을 보였으며, 학습된 하네스는 다른 모델에도 전이되어 홀드아웃 정확도를 14.7%p 향상시켰다.
시사점 취약점 탐지 시 LLM 에이전트의 성능을 높이기 위해, 고정된 하네스 대신 스스로 진화하는 하네스를 구축하고 이를 전이 학습시키는 접근이 유효하다.
연구진은 에이전트의 궤적과 환경 기록을 정렬하여 실행 이력을 재구성하고 최종 보고서를 검증하는 평가 프레임워크를 개발하여 모듈 섀도잉 공격에 적용했다. 15개 모델 대상 90회의 시도 중 직접 섀도잉 시나리오에서 51%, 간접 섀도잉 시나리오에서 87%의 페이로드가 실행되었으며, 이는 최종 보고서에 누락되는 경우가 많았음을 발견했다.
시사점 행동 코딩과 독립적인 환경 감사를 결합하면 에이전트의 안전성을 엄격하고 투명하게 평가할 수 있다.
본 연구는 다단계 워크플로우를 수행하는 자율 LLM 에이전트의 개인정보 유출 문제를 해결하기 위해 정보 흐름 분석과 목적 기반 위험 관리를 결합한 PrivacyFlow를 제안했다. 이 방어 기법은 여섯 가지 모델에서 단계별 개인정보 실패를 줄이고, 탐지되지 않은 개인정보 침해 없이 완료된 태스크 시퀀스 비율을 22~55 퍼센트포인트 향상시켰다.
시사점 AI 에이전트의 개인정보 보호를 위해서는 실행 단계와 계획 단계를 분리하고, 데이터 흐름의 출처와 목적을 추적하는 능동적인 추론 과정이 필요하다.
연구진은 CICIDS2017의 Friday DDoS 서브셋을 사용하여 하이브리드 변분 양자 분류기(VQC)를 훈련시키고 시뮬레이션 및 IBM 하드웨어에서 공격을 테스트했다. 공격 성공 여부는 모델의 신뢰도에 따라 달라지며, 장치 노이즈는 정확도를 낮추지 않지만 공격을 용이하게 만든다.
시사점 양자 기반 탐지 시스템의 취약점은 훈련 방식에 따라 달라지므로, 장치 노이즈를 방어 수단으로 간주해서는 안 된다.
본 연구는 고정 텍스트 인증과 자연어 텍스트 인증을 결합한 2단계 키스트로크 동역학 인증 시스템을 제안하고, 이를 통해 세션 하이재킹 및 행동 이상에 대응한다. 이 시스템은 고정 텍스트 인증에서 3.77% EER을 달성했으며, 자연어 텍스트 인증에서는 5% FAR에서 83.53% TAR을 달성했다.
시사점 지속적인 행동 모니터링을 통해 키스트로크 동역학 기반의 다단계 생체 인증 시스템을 구축할 수 있다.
본 연구는 LLM이 대화에서 발화 주체를 추적하는 방식을 분석하고, 가짜 구조와 내용을 결합한 공격에 높은 취약성을 보임을 밝혔다. 또한, 대화에서 역할을 예측하도록 훈련된 선형 프로브(linear probes)를 사용하여 역할 스푸핑을 탐지하는 새로운 방법을 제안했다.
시사점 LLM의 역할 스푸핑 공격에 대응하기 위해 대화의 구조적 및 내용적 단서를 모두 고려한 탐지 기법을 적용해야 한다.
본 연구는 확산 잠재 공간의 과잉 완전성(overcompleteness)을 이용하여 훈련 없이 임의의 이미지에 다중 비트 페이로드를 삽입하는 워터마킹 프레임워크를 제안했다. 이 프레임워크는 CtrlRegen+ 재생 공격에 대해 94.6%의 복호화율을 보였으며, CLIP 및 Reed-Solomon(RS) 퍼지 커밋먼트 메커니즘을 통해 98.8%의 위변조 탐지 정확도를 달성했다.
시사점 이미지 저작권 보호를 위해 시각적 품질을 유지하면서도 공격에 강한 다중 비트 워터마킹 및 위변조 탐지 기술을 적용할 수 있다.
본 연구는 관측, 이해, 투영 수준의 CSA를 통합한 단일 경보 검증 프레임워크를 제시하고 DARPA TC 데이터셋으로 실험하였다. 이해 수준의 CSA는 특정 기준선 대비 Recall@5에서 최대 28.6% 및 75%p 향상, 평균 양성 순위 감소에서 각각 24.6% 및 86.8% 감소를 달성하였다.
시사점 CSA의 가치는 그것을 언제 어떻게 도입하느냐에 달려 있으며, 검증 요구사항에 따라 적응적으로 CSA를 발전시키는 것이 중요하다.
본 연구는 상용 추론 API와 같은 AI 서비스 인프라를 대상으로, 공격자가 관찰 가능한 모든 요청에 대해 정적 응답 풀에서 답변을 제공하고 실제 추론은 수행하지 않는 '추론 없는 기만(deception without inference)' 원칙을 기반으로 InferD라는 저상호작용 허니팟 프레임워크를 제시한다. 이 프레임워크는 전송, 서비스 프로토콜, 취약점 표면, 에이전트 세션의 네 가지 기만 평면과 다운스트림 처리를 추적하는 출처 평면을 포함한다.
시사점 AI 추론 인프라의 공격 표면을 측정하기 위해, 실제 계산 없이 공격자의 상호작용을 모방하는 허니팟 구축이 필요하다.
본 연구는 신뢰할 수 없는 도구 출력으로 인한 로컬 LLM 에이전트의 간접 프롬프트 인젝션 공격에 대응하기 위해 SEAL이라는 방어 기법을 제안한다. SEAL은 공격 성공률을 34.6%에서 0.1%로 줄이고, 공격 성공 없이 작업 완료율을 51.4%에서 77.5%로 높였다.
시사점 LLM 에이전트가 외부 도구 출력을 사용할 때, SEAL과 같은 기법을 적용하여 공격을 완화하면서도 작업의 증거를 유지할 수 있다.
연구진은 스파이킹 도메인 모델 역변환(SDMI)을 도입하여 SNN 모델과 비이상적인 메모리스터 기판에 매핑된 SNN의 역변환 누출을 연구했습니다. 비교적 정확한 수준에서 뉴런 임계값 변화는 SSIM을 최대 51.8%까지 향상시켰으나, 스파이크 수준의 변화는 유틸리티를 저하시켰습니다.
시사점 하드웨어적 가변성은 본질적으로 프라이버시를 보존하지 않으며, 메모리스터 SNN의 모델 역변환 누출은 하드웨어 상태에 따라 달라진다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.