연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
AI 에이전트가 SMB에서 널리 사용되면서 새로운 보안 위협이 증가하고 있다. ESET의 분석에 따르면 2026년 3~5월 사이 약 90만 개의 AI 에이전트 스킬 중 25,000개 이상이 의심스럽고 3,000개 이상이 악성으로 판명되었다. 또한, AI 모델의 홀로라션과 프롬프트 인젝션 공격이 SMB를 위협하고 있다.
시사점 SMB는 AI 에이전트 도입 시 공급망 관리와 프롬프트 인젝션 방어를 강화해야 하며, 전통적 공격 벡터에 대한 대비도 필요하다.
AI 에이전트의 결제 승인을 평가하는 벤치마크인 APort Vault를 제안하고, 14개 모델과 5개 정책 설정에서 4,371개의 공격을 재현한 실험 결과를 보고한다. 225,964개 평가를 완료했으며, Level 4에서 62.6%의 프롬프트가 모든 모델에서 요청을 유발했다.
시사점 이 연구는 AI 에이전트의 결제 승인 보안을 평가하는 표준 벤치마크를 제공하여, 다양한 모델과 정책 설정에서의 보안 성능을 비교할 수 있다.
딥러닝 모델의 하드-라벨 설정에서 모델 추출 공격을 위한 새로운 부호 복구 알고리즘을 제안한다. MNIST와 Fashion-MNIST 데이터셋에서 훈련된 모델에 대해 98% 이상의 라벨 일치율을 달성한다.
시사점 이 연구는 실제 블랙박스 환경에서 딥러닝 모델의 파라미터를 추출하는 데 기여할 수 있다.
대규모 언어 모델에서 추론 효율성과 출력 출처 추적 문제를 해결하기 위해 포아송 과정 기반의 새로운 다중 초안 추측 샘플링 알고리즘을 제안한다. 제안된 알고리즘은 추측 수용률을 저하시키지 않고 무편향 워터마크를 삽입할 수 있으며, 샘플링 효율성과 워터마크 강도를 동시에 유지한다.
시사점 이 연구는 대규모 언어 모델의 출력을 효과적으로 추적하고 보호하기 위한 새로운 방법을 제시하여, AI 생성물의 탐지 및 보안 강화에 기여할 수 있다.
LLM에 대한 제한 해제 공격 방어 기법을 단계별로 조합하는 방법을 제안하고, 일관된 위협 모델 하에서 방어 조합의 효과를 평가한다. 19개 공격과 15개 방어 기법을 대상으로 하여, 단일 방어보다 조합 방어가 안전성과 유틸리티 저하를 동시에 개선하는 것을 보인다.
시사점 LLM 보안을 위해 단계별 방어 조합 전략을 채택하고, 일관된 평가 기준을 적용할 필요가 있다.
LEFSA라는 확률적 프레임워크를 제안하여, 운영 보안 텔레메트리 데이터를 기반으로 기계 수준의 사이버 손실 사건 확률을 추정하고 계층적 인프라 수준으로 집계한다. XGBoost 모델을 사용한 평가에서 ROC 곡선 하부 면적 0.90의 예측 성능을 보였다.
시사점 이 연구는 운영 데이터를 기반으로 사이버 위험을 정량화하는 새로운 프레임워크를 제시하여, 기업의 데이터 기반 위험 관리 전략 수립에 기여할 수 있다.
TERMon은 에지 AI 가속기에서 모델의 런타임 실패를 탐지하기 위해 하드웨어 네이티브 테르너리 런타임 모니터를 제안한다. TERMon은 클래스 조건부 신뢰 행동을 하드웨어 효율적인 테르너리 패턴으로 표현하여, 온도계 인코딩된 지문과 병렬로 일치시킴으로써 이들을 탐지한다.
시사점 TERMon은 에지 AI 환경에서 모델의 신뢰성을 실시간으로 모니터링할 수 있는 새로운 하드웨어 기반 방안을 제공한다.
RAG 시스템에 대한 분산 공격 기법인 마이크로 협력 오염(Micro-Collaborative Poisoning)을 제안하고, 다양한 RAG 구성에서 실험적으로 평가하였다. 실험 결과에 따르면 이 공격은 단일 악성 패스에 의존하지 않고, 여러 문서에서 약한 적대적 신호가 누적되어 발생하며, 이는 단일 문서 검사로는 감지가 어려운 것으로 나타났다.
시사점 RAG 시스템의 보안 설계 시 단일 문서 검사에만 의존하는 방식은 한계가 있으며, 다중 데이터베이스의 다양성과 강력한 검색기를 고려해야 한다.
공개 가중치 언어 모델의 어댑터에서 숨겨진 채널을 구조적으로 제거하고 이를 증명하는 방어 기법 ServeGuard를 제안한다. 0.5B 모델에서 선량한 어댑션에 대해 거의 무료로 모니터링 예산은 구조적이다.
시사점 이 연구는 공개 가중치 언어 모델의 어댑터에서 숨겨진 채널을 제거하고 이를 검증할 수 있는 새로운 방어 기법을 제시하여, 공급망 보안을 강화할 수 있다.
동형 암호화(HE) 기반의 대형 언어 모델(LLM) 추론에서 탈옥 공격에 취약한 보안 문제를 발견하고, 암호화된 데이터 상에서 가드레일 메커니즘을 평가하는 HE-Guardrail 프레임워크를 제안한다. HE-Guardrail은 Llama Guard, JBShield, GradSafe 세 가지 대표적인 가드레일을 구현하여, 암호화 도메인에서 원문 가드레일의 결정을 정확히 재현함을 보인다.
시사점 암호화된 LLM 추론 시스템에서 탈옥 공격을 방어하기 위해 암호화 데이터 상에서 가드레일을 실행하는 HE-Guardrail을 적용할 수 있다.
연구자들은 IoT 장치의 암호공학 보안을 평가하는 대규모 언어 모델(LLM) 벤치마크인 CESBench를 제안한다. CESBench는 380개의 전문가 작성 항목으로 구성되며, 6개의 하위 분야와 4가지 태스크 유형을 포함한다.
시사점 이 벤치마크는 LLM이 IoT 암호공학 보안 분야에서 얼마나 효과적으로 작동하는지를 평가하는 데 사용될 수 있다.
SaaS 산업 전반에서 개인적으로 드문 그러나 증가하는 제품 남용 문제를 해결하기 위해 기계 학습을 활용한 통합 방어 시스템을 설계하고, 실제 운영 환경에서의 제약 조건을 고려한 방어 기법을 제안한다. 제품 남용 범위를 35%, 월간 경보를 30% 감소시켰다.
시사점 SaaS 보안 플랫폼의 제품 남용을 감지하는 데 기계 학습 기법을 적용할 수 있으며, 경보 감소와 함께 적응성을 높일 수 있다.
X-SPUR는 라벨이 없는 공격 데이터가 드문 자동차 이더넷 네트워크에서, 원시 패킷 필드를 토큰 시퀀스로 표현하고 인과 언어 모델링을 통해 정상 트래픽 패턴을 학습한 후, 토큰별 교차 엔트로피 놀라움을 기반으로 이상을 탐지하는 프레임워크이다. TOW-IDS 데이터셋에서 AUC 0.9987를 달성했으며, 기존 AERO(0.9969)보다 약간 높은 성능을 보였다.
시사점 X-SPUR는 자동차 이더넷 네트워크에서 라벨 없는 데이터를 기반으로 정확한 침입 탐지를 가능하게 하며, 토큰별 놀라움을 통해 설명 가능한 보안 분석을 지원한다.
인텐트 기반 네트워크(IoT) 정책 생성을 위해 대형 언어 모델(LLM)을 활용하되, 기존 시스템의 한계를 보완한 NetInspector 프레임워크를 제안한다. NetInspector는 검증-실행 프로토콜을 통해 정책 결정을 네트워크 사실에 기반시켜, 기존 기준 대비 30% 이상의 오류 감소를 달성했다.
시사점 NetInspector는 인텐트 기반 네트워크 정책 생성 시 LLM의 신뢰성을 향상시키며, 네트워크 관리자들이 정책 오류를 줄이는 데 활용할 수 있다.
간접 프롬프트 인젝션(IPI)을 방어하기 위해 기존 변환기 아키텍처를 확장한 '프로벤런스 인식 변환기'를 제안한다. 모델 내부에서 원본 정보를 구분하는 구조적 경계를 설정함으로써 IPI에 대한 내성을 유지하면서 기반 모델과 유사한 유틸리티를 보장한다.
시사점 이 연구는 LLM 시스템에서 프롬프트 인젝션 공격을 방어하는 구조적 접근법을 제시하여, 모델의 안전성 정렬 전략을 개선할 수 있다.
인간 승인을 기반으로 한 에이전트 시스템의 보안 경계를 무력화하는 새로운 공격 기법인 루프잭킹(Loopjacking)을 제안하고, Agno AgentOS 3.0.9, LangGraph Agent Server 0.14.0, OpenClaw 2026.2.23 등에서 이 공격을 재현한 연구를 수행하였다. 7개 버전의 Agno AgentOS와 12개 버전의 LangGraph Agent Server에서 사후 승인 상태 치환 공격을, OpenClaw 2026.2.23에서 표현 불일치 공격을 성공적으로 재현하였다.
시사점 인간 승인을 기반으로 한 에이전트 시스템의 보안 경계를 무력화하는 루프잭킹 공격이 확인되어, 승인 과정에서의 정확한 표현과 실행 시 비교 또는 승인되지 않은 상태 변경을 방지하는 조치가 필요하다.
AI 코드 보조 도구가 소프트웨어 개발을 변화시키고 있지만 보안 취약점을 생성하는 것으로 알려져 있다. 100명의 개발자를 대상으로 AI 생성 코드의 보안성 평가 과정을 실험적으로 조사하여, 개발자가 취약점을 식별하는 능력과 신뢰가 결정에 미치는 영향을 분석했다.
시사점 AI 생성 코드의 보안성 평가 과정에서 개발자의 신뢰와 평가 능력이 중요하며, 이는 AI 도구 사용 시 보안 개발 실천에 영향을 미친다.
AWS AgentCore 허네스의 기본 설정을 통해 공격자가 프롬프트 인젝션을 이용해 인증 정보를 유출할 수 있음을 보였다. 허네스 내장 쉘 도구가 인증 정보를 평문으로 변환하는 메모리 공간에 접근할 수 있음을 발견했다.
시사점 AgentCore 허네스를 사용하는 운영자는 허네스가 사용할 수 있는 툴을 최소한의 범위로 제한하고, 인증 정보 저장소 계정을 최소 권한으로 설정하며, 허네스 컨테이너의 외부 트래픽을 모니터링해야 한다.
AI 생성물의 악용으로 인한 비즈니스 모델과 법적 규제를 분석하고, 개인과 가족을 보호하기 위한 전략을 제시한다. 2025년 보고서에 따르면 미국 청소년 중 47%가 AI 생성 익스플로잇 자료를 접한 것으로 나타났다.
시사점 AI 기반 'Nudify' 앱의 악용을 방지하기 위해 온라인 이미지 관리와 계정 보안 강화가 필요하며, 피해 발생 시 신속한 대응이 중요하다.
AI 모델이 추론 엔진의 특정 정보를 탐지해 취약점을 활용하는 공격 기법을 제시하고, 5개 인기 있는 엔진에서 구체적인 예시와 증명 개념을 통해 실증했다. 실제 에이전트 화면을 통해 모델이 엔진을 식별하고 공격을 수행하는 방법을 보였다.
시사점 AI 모델이 추론 엔진을 타겟으로 삼아 보안 위협을 가할 수 있으므로, 추론 엔진의 보안 강화가 필요하다.
멀티모달 대형 언어 모델(MLLM)의 불법 배포와 비인가 디스틸레이션을 방지하기 위해, 자기-주의 메커니즘의 저주파 성분을 활용한 모델 지문 기법 AttnPrint와 블랙박스 감사 도구 DistillTrace를 제안한다. AttnPrint는 154개 모델 인스턴스에서 5가지 다운스트림 수정 기술에도 강건한 파생 모델 탐지 성능을 보인다.
시사점 이 연구는 MLLM의 모델 소유권 보호를 위한 실용적인 지문 기법을 제시하여, 모델 디스틸레이션 탐지 및 불법 배포 방지에 기여할 수 있다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.