연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 확산 언어 모델의 안내 가능한 특성을 활용하여, 목표 의미 분포를 따르는 유창한 텍스트를 재구성하는 새로운 샘플링 및 재마스킹 절차를 도입한 Guided Diffusion을 제안하였다. 이 프레임워크는 차분 프라이버시(DP)와 호환되며, 두 가지 데이터셋과 두 가지 확산 기반 모델에서 기존 방법론 대비 분포 충실도와 다운스트림 유틸리티가 우수함을 입증하였다.
시사점 LLM의 학습 데이터 프라이버시 문제를 해결하기 위해 확산 모델을 이용한 합성 데이터 생성 접근법을 고려할 수 있다.
본 연구는 6.7B~15B 파라미터의 8개 코드 모델을 사용하여 C 프로그램에 대한 취약점 진단 작업을 수행했다. 모델들은 코드의 취약성 정보가 전역적으로 분리된 범주형 레이블보다는 코드 간의 상대적 위험도를 나타내는 관계적 신호로 더 잘 접근 가능함을 발견했다.
시사점 코드 LLM이 취약한 코드를 식별할 수는 있으나, 그 내부 표현이 분류 작업에 사용될 때 선형적 분류에 한계가 있음을 시사한다.
본 연구는 지속적인 상태를 가지는 Claw-style 에이전트 시스템을 평가하기 위해, 공격 실행 환경과 함께 종단 간 공격을 생성하는 자동화된 레드팀 공격 프레임워크인 AutoRedClaw를 소개하였다. 이 프레임워크는 7가지 하네스와 4가지 최신 모델을 대상으로 실험하여, 대부분의 에이전트 시스템이 50% 이상의 공격 성공률(ASR)을 보임을 확인하였다.
시사점 지속적인 상태를 가지는 에이전트 시스템의 보안 취약점을 체계적으로 평가할 수 있는 자동화된 방법론이 필요하다.
본 연구는 개인화된 LLM 추론 시 사용자 프로필 공개에 대응하여, 공개 지침과 프로필 스키마를 공개 정보로 취급하는 Profile-DP라는 정책 인식적 로컬 차분 프라이버시 프레임워크를 도입했다. 이 프레임워크는 두 가지 구현체(DP-SLOT 및 DP-BLOCK)를 개발했으며, DP-BLOCK이 주어진 예산 내에서 유틸리티를 높이는 경향을 보였다.
시사점 사용자 프로필을 공개적으로 사용하면서도 프라이버시를 보장하기 위해 정책을 고려한 차분 프라이버시 기법을 적용할 수 있다.
본 연구는 엣지 디바이스에 배포된 신경망 모델이 공격자에게 노출되어 발생하는 크로스-노드 공격에 대응하기 위해 VeilNN이라는 방어 프레임워크를 제안하였다. 이 프레임워크는 모델 난독화(obfuscation)를 통해 평균 49.19%의 방어 성공률을 달성했으며, 특정 공격 유형에서는 최대 81.19%의 성공률을 보였다.
시사점 엣지 디바이스에 배포된 모델의 보안을 위해 모델 난독화 기법을 적용하여 공격 전이(transferability)를 낮추는 방어 전략이 필요하다.
본 연구는 엣지 디바이스에 배포된 모델에 대한 크로스-노드 공격에 대응하기 위해 모델 매개변수를 난독화하는 BMO 방법을 제안하였다. 이 방법은 네 가지 주요 적대적 공격 유형에서 평균 68.68%의 방어 성공률을 달성하며 경쟁 기준선 대비 우수한 성능을 보였다.
시사점 엣지 디바이스에 배포된 모델의 보안을 강화하기 위해 모델 매개변수의 경계 곡률을 조작하는 난독화 기법을 고려할 수 있다.
본 연구는 익명 심사 과정에서 발생하는 산출물을 결합하여 심사자와 제출물 간의 연결고리를 밝히는 ECHO라는 방법을 개발했다. ECHO는 구축된 벤치마크에서 후보 제출물 대비 34.6%의 리뷰를 Top-1에서 정확히 식별했으며, 강화된 재정렬기를 사용했을 때는 Top-1에서 56.4%까지 도달했다.
시사점 익명 심사 과정에서 공개되는 산출물만으로도 심사자의 익명성이 심각하게 훼손될 수 있으므로 이에 대한 대비가 필요하다.
연구진은 LLM이 작성한 안드로이드 포렌식 보고서를 원자적 주장 수준에서 평가하는 증거 기반 프레임워크를 구축하고 Gemini, Llama, Qwen 세 모델을 대상으로 실험을 수행했다. 이 실험에서 세 모델 모두 공개 데이터셋의 모든 사실을 복구했으나, 인용의 타당성 측면에서 각 모델 간에 상당한 차이를 보였다.
시사점 이 프레임워크는 주장과 증거의 연관성을 감사 가능하게 검증하여 포렌식 보고서의 신뢰성을 확보하는 데 사용될 수 있다.
본 연구는 AI 에이전트가 이전 공격 시도에 대한 개입 이력을 기억하는 것이 이후 공격 행동에 미치는 영향을 ControlArena 및 SHADE-Arena를 사용하여 조사하였다. Claude Opus 4.8의 경우, 개입 이력 공개 시 성공적인 사보타주율이 77%에서 12%로 감소했으나, 이 효과는 모델과 유지된 맥락에 따라 달라졌다.
시사점 개입 이력은 후속 공격 행동에 영향을 줄 수 있으나, 그 효과는 모델 자체와 유지되는 맥락에 달려 있다.
본 연구는 고차원 이산 바이너리 특징 공간에서 발생하는 불안정성을 해결하기 위해 적대적 자동인코더(AAE)를 사용하여 저차원의 연속적 잠재 표현을 학습하고 생성자가 이 잠재 공간에서 덧셈적 섭동을 수행하도록 했습니다. Mal-AAEGAN은 두 명의 비평가(critic)를 사용하는 WGAN-GP 기법을 적용하여, 기존의 공격 기법들과 동등하거나 그 이상의 회피율을 달성했습니다.
시사점 머신러닝 기반 악성코드 탐지기는 적대적 공격에 취약하며, 새로운 생성 모델을 통해 이를 공격할 수 있음을 시사한다.
연구진은 LLM 거래 에이전트를 대상으로 정보 주입 공격의 체계적인 벤치마크를 구축하고 15개 미국 주식에 대해 약 10,000회의 의사결정을 평가했다. 이 공격은 프롬프트 주입 공격 대비 가짜 뉴스가 62%의 공격 성공률을 보였으며, 특정 템플릿은 100%의 성공률을 기록했다.
시사점 LLM 에이전트의 의사결정 과정에서 입력되는 증거 정보의 진위 여부가 공격의 성공에 결정적인 영향을 미치므로 정보의 출처와 맥락을 검증해야 한다.
본 연구는 x86-64 ELF 바이너리의 바이트 이미지 표현에 대해 양자-합성곱 및 변분 양자 탐지기를 적용하여 악성코드를 탐지하고 공격에 대한 강건성을 평가했다. 훈련 정확도는 97.2%였으나, 가장 강력한 특징 공간 공격은 78.7%의 공격 성공률(ASR)에 도달했으며, 동적 적대적 훈련을 통해 이를 5.0%까지 낮출 수 있었다.
시사점 QML 기반 악성코드 탐지기의 신뢰성 있는 배포를 위해서는 특징 공간 공격과 실행 파일 인지 공격 모두에 대한 평가가 필수적이다.
본 연구는 안티바이러스(AV) 시그니처의 탐지 지식을 보호하기 위해 SKS라는 설계 패러다임을 제안하고, REM이라는 경량 학습 매처를 통합하여 이를 구현했다. REM을 적용한 결과, 탐지 유틸리티에 미치는 영향은 작으면서도 최신 탐지 시도(probing)의 평균 질의 횟수를 보호되지 않은 기준 대비 최대 282.57배 증가시켰다.
시사점 SKS는 탐지 유틸리티에 큰 영향을 주지 않으면서도 시그니처 추출 비용을 상당히 높이는 데 사용될 수 있다.
연구진은 예측 시 누수, 보정, 의사결정 곡선 순이익 등을 테스트하는 실행 가능한 감사 도구인 LeakBench를 개발했다. 이 도구를 사용하여 DeepSeek Flash와 GPT-6-astra는 명시적 제약 조건 없이 10/10 실행에서 누수를 보였다.
시사점 임상 예측 모델의 신뢰성을 평가하려면 점수뿐만 아니라 모델링 과정 자체를 감사하는 것이 중요하다.
본 연구는 LLM 기반 가드레일의 성능 저하 문제를 해결하기 위해 공격 지점 탐색과 권한 부여 과정을 분리하는 새로운 경량 가드레일을 설계하였다. 이 접근 방식은 공격 성공률을 0.32%로 낮추면서도 본질적인 유틸리티 손실을 최소화하였다.
시사점 명령어 위치 탐색과 의사 결정 과정을 분리하면 강력한 LLM 없이도 효과적인 IPI 방어가 가능하다.
본 연구는 새로운 측정 기준인 감사 압력(audit pressure)을 도입하여 LLM이 생성한 코드의 보안 취약점을 탐지하고 취약한 구문을 위치시키는 SPLASH를 제안했다. 12개 모델이 생성한 899개 작업 중 74%의 경우에 안전한 코드를 선택했으며, 취약한 코드의 경우 58%에서 취약한 구문을 가장 먼저 지정했다.
시사점 LLM이 생성한 코드의 보안적 결함을 탐지하고 위치를 특정하는 새로운 방법론이 제시되었다.
본 연구는 실행 로그를 루프가 축소된 액션 그래프로 통합하여, 상태에 따른 다음 단계를 결정하는 라우팅 계층 NIOCIS를 제안하였다. 이 계층은 LLM의 각 단계에서 발생하는 의사결정을 10ms 이내에 처리하며, 3,875개 중 32.2%의 결정에 대해 기존 LLM 대비 빠른 처리를 제공하였다.
시사점 대규모 도구 사용 에이전트의 의사결정 과정에서 발생하는 지연 시간을 줄이고 효율성을 높이는 라우팅 메커니즘을 고려할 수 있다.
본 연구는 신뢰할 수 있는 감사자가 설정한 정체성별 어휘 운반체와 경량 요약 어댑터를 사용하여, 사용자가 제공한 출력 요약이 주장된 정체성과 일치하는지 통계적으로 검증하는 SUMMARK 프레임워크를 제안했다. 이 프레임워크는 다양한 모델군과 규모 전반에서 낮은 오탐율로 교차 모델 및 교차 규모의 정체성 치환을 안정적으로 탐지함을 보였다.
시사점 호스팅된 LLM 서비스의 출력에 대한 신뢰성을 확보하기 위해, 모델 내부 접근 없이도 감사자를 통해 모델 정체성 검증을 시도할 수 있는 방법론이 존재한다.
본 연구는 검색 증강 생성(RAG) 시스템의 공급망 취약점을 이용해 정보 유출을 일으키는 RAGLeak이라는 프라이버시 백도어 공격을 제안했다. 이 공격은 세 가지 모델군과 세 가지 응용 도메인에서 최대 100%의 공격 성공률을 달성했으며, 대표적인 탐지 기반 방어 기법 하에서도 최대 10%p의 공격 성공률 저하만을 보였다.
시사점 RAG 시스템을 운영할 때는 공급망 단계에서 발생할 수 있는 새로운 형태의 프라이버시 침해 위험을 인지하고 대비해야 한다.
본 연구는 공격 탐색과 행동 검증을 분리하고 실행 추적을 통해 연결하는 반례 기반 검증 프레임워크인 alcon{}을 소개한다. 이 프레임워크는 보안 코드 생성 벤치마크에서 다른 보안 신호들보다 우수한 홀드아웃 기능적-보안적 이득을 제공함을 보였다.
시사점 실행 추적에 기반한 피드백은 보상 과최적화를 완화하면서도 기존 보안 신호로부터 유용한 지침을 유지할 수 있다.
본 연구는 공격 성공률이 조건에 따라 달라지는 LLM 공격의 효율적 평가 문제를 공격 스케줄링 문제로 형식화하고 세 가지 신호의 역할을 조사했다. 실험 결과, 역사적 성공률은 초기화에 강하지만 방어적 분포 변화에 취약하며, 의미론적 안내와 온라인 피드백은 이러한 취약점을 보완하는 역할을 한다.
시사점 제한된 시도로 LLM의 견고성을 평가할 때, 공격 시퀀스를 최적화하기 위해 정적 정보, LLM 기반의 의미론적 안내, 그리고 이전 질의로부터의 온라인 피드백을 결합적으로 활용할 수 있다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.