연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
LLM 에이전트의 간접 프롬프트 인젝션을 억제하기 위해 활성화 조정 기반 방어 기법인 CounterSteer를 제안한다. 5가지 개방 가중치 모델에서 공격 성공률이 0.21-1.00에서 0.00-0.17로 감소했으며, AgentDojo 침해율은 0.10-0.49에서 0.006-0.079로 감소했다.
시사점 CounterSteer는 LLM 에이전트의 간접 프롬트 인젝션 공격에 효과적으로 대응할 수 있는 방어 기법으로, 실무에서 즉시 적용 가능한 방안이다.
기존의 프로벤언스 기반 침입 탐지 시스템(PIDS)은 공격 스토리라인을 구성하기 어려운 문제를 해결하기 위해, ANCHOR라는 조사 중심의 프로벤언스 시스템을 제안한다. ANCHOR는 증거 큐를 통해 원인 구조, 시간 경계, 창 간 연속성을 보존하며, 공격 스테이지별로 공격 스토리라인을 점진적으로 재구성한다. 6개 DARPA 데이터셋을 기반으로 한 평가에서 기존 기반 시스템보다 IoC 복구율과 공격 스테이지 속성 지정이 개선되었다.
시사점 이 연구는 시스템 프로벤언스 데이터를 기반으로 LLM을 활용한 공격 추적 방법을 제안하여, 보안 분석의 정확성과 효율성을 높일 수 있다.
밀집 검색의 개인정보 보호를 위해 암호화된 행렬과 벡터의 곱셈을 활용한 2단계 암호 프로토콜을 제안한다. 3비트 양자화를 적용한 결과, 검색 품질과 RAG 정확도가 유지되며, 임상 참고문헌 크기의 문서에서 1~3분의 서버 시간이 소요된다.
시사점 이 연구는 개인정보 보호가 필요한 중간 규모의 문서에서 실용적인 밀집 검색을 가능하게 하며, 분당 수준의 지연이 허용되는 환경에 적합하다.
개인 언어 에이전트가 다양한 대화에서 정보를 학습하고 적용할 때 청중에 따른 권한 부여를 연구한다. 10,000개의 다자간 기록에서 불법 항목이 82% 감소했으며, 정확도는 기존 기준과 동일하거나 높았다.
시사점 이 연구는 개인 언어 에이전트의 정보 공유를 체계적으로 제어할 수 있는 새로운 접근법을 제시한다.
기존 토큰 기반 와터마크는 개별 토큰의 엔트로피에 제약받았으나, TTMARK는 연속 토큰 쌍의 결합 분포를 활용해 와터마크 알파벳을 확장하고 감지 능력을 향상시켰다. 실험 결과 생성 품질 저하 없이 감지력과 편집 내성을 개선했다.
시사점 이 연구는 기계 생성 텍스트의 신뢰성 있는 추적을 위해 토큰 쌍 기반 와터마크 기법을 제안하며, 보다 강력하고 정확한 와터마크 감지 기술의 필요성을 강조한다.
기존 멤버십 추론 공격은 참조 모델을 사용해 각 샘플별로 신호를 교정했지만, 대규모 모델에서는 계산 비용이 높아졌다. 본 연구는 대상 포인트의 이웃을 이용해 신호를 교정하는 새로운 방법을 제안한다. 3개의 이미지 분류 데이터셋에서 이 방법이 기존 공격 성능을 유지하면서 추가 학습 비용 없이 강력한 멤버십 신호를 제공함을 보였다.
시사점 이 연구는 대규모 모델에서도 계산 비용을 유지하면서 멤버십 추론 공격을 효과적으로 수행할 수 있는 새로운 접근법을 제시한다.
이 연구는 분산 연방 학습(DFL) 환경에서 악성 업데이트를 탐지하고 격리하는 적극적 방어 기법 DecoyTrace를 제안한다. DecoyTrace는 60개의 구성에서 평가되었으며, MNIST/FashionMNIST에서 기준선 대비 F1-score가 0.03 이내로 유지되는 등 성능 저하를 최소화했다.
시사점 이 연구는 분산 연방 학习 환경에서의 보안 방어 전략을 제시하여, DFL 시스템의 안정성과 신뢰성을 높이는 데 기여할 수 있다.
DDoS 공격 탐지를 위해 GAN을 활용한 합성 데이터 생성과 Random Forest 분류기를 결합한 새로운 방법을 제안한다. 합성 데이터와 실제 트래픽의 유사도는 80.3%이며, 합성과 실제 데이터를 혼합해 학습한 모델은 벤치마크 데이터에서 99.98% 정확도를 달성했다.
시사점 이 연구는 DDoS 탐지 모델의 성능 향상과 일반화 능력을 높이는 데 기여하며, 데이터 증강과 편향 해소를 고려한 보안 모델 설계에 활용될 수 있다.
SIF(Sealed Inference Frame)는 브라우저 내에서 전문직 그룹을 추론하고, 식별자 없이 프라이버시 친화적인 광고를 가능하게 하는 기술이다. 7,969개 상위 사이트와 431개 B2B 출판사의 CSP 배포를 조사하고, 회사 유형과 규모는 예측 가능하지만, 직급은 대부분 예측 불가능하다는 것을 보였다.
시사점 SIF는 식별자 없이 광고 타겟팅을 가능하게 하며, 프라이버시 친화적인 광고 기술로 실무에 적용될 수 있다.
대형 언어 모델이 텍스트로 전달된 악의적 지시를 따르는 프롬프트 인젝션 공격에 취약하다는 점을 발견하고, 텍스트 중심의 지시 훈련이 이러한 취약성을 초래한다고 가정한다. 실험을 통해 텍스트가 아닌 이미지나 오디오로 렌더링된 지시는 공격 성공률을 줄이는 방어 기법으로 활용할 수 있음을 보인다.
시사점 이 연구는 대형 언어 모델의 프롬프트 인젝션 공격을 방어하기 위해 입력 데이터를 비텍스트 형식으로 변환하는 실용적인 방법을 제시한다.
기존 네트워크 침입 탐지 시스템 연구에서의 과장된 결과와 불신뢰할 수 있는 벤치마크 문제를 해결하기 위해, CIC-IDS2017 데이터셋의 라벨링 오류를 수정하고 다양한 머신러닝 모델을 평가하는 포괄적인 벤치마크를 제안한다. Random Forest, XGBoost, LightGBM의 소프트-보팅 앙상블이 세 계층에서 각각 0.999, 0.980, 0.955의 macro-F1 점수를 달성했다.
시사점 이 벤치마크는 네트워크 침입 탐지 시스템의 평가를 표준화하고 재현 가능성을 높여, 실무에서 보다 신뢰할 수 있는 모델 개발을 지원한다.
중국 대륙의 소셜 미디어에서 도크싱이 어떻게 발생하는지 18명의 생존자 인터뷰를 통해 분석하고, 프레임워크를 제시했다. 중국 특유의 규제 요구와 문화적 논리가 도크싱에 미치는 영향을 밝혔다.
시사점 중국의 도크싱 문제를 이해하기 위해 문화적, 규제적 요인을 고려한 다각적 접근이 필요하다.
LLM 에이전트가 개인정보 보호 지침에 따라 정보 원천을 어떻게 선택하는지 평가하는 제어된 프레임워크인 PrivacySkills를 제시한다. 5개 오픈 모델에서 사용자 접근 가능 시 30% 평균 비율로 기밀 정보를 접근하는 것을 확인했으며, 시스템 수준 지침과 기술 수준 침투성 라벨을 결합하면 기밀 접근을 약 절반으로 줄일 수 있음을 보였다.
시사점 LLM 에이전트의 개인정보 보호를 강화하기 위해 기술 수준의 침투성 라벨과 시스템 수준 지침을 결합한 접근이 효과적임을 실증했다.
LLM 에이전트에 대한 프롬프트 인젝션 공격이 모델의 채팅 템플릿을 이용할 때 훨씬 강력해진다. 허위 템플릿 마커를 서브워드 토큰으로 인코딩하면 InjecAgent 벤치마크에서 공격 성공률이 39~66%포인트 감소한다.
시사점 LLM 에이전트 보안 강화를 위해 토큰화 과정에서 예약 토큰 처리 방식을 점검해야 한다.
신뢰할 수 있는 실행 환경(TEE)에 대한 물리적 접근 공격을 완화하기 위해, 기계가 어떤 조직에 속하는지를 증명하는 메커니즘을 제안한다. X.509 기반 설계로, 기존 (v)TPM과 같은 추가 신뢰 근원이 필요 없으며, 기계의 고유 CPU 식별자인 Chip ID를 기반으로 인증을 수행한다.
시사점 TEE Anchor를 도입하면 물리적 공격을 방지하기 위해 기계가 신뢰할 수 있는 환경에 배치되어 있는지 실시간으로 확인할 수 있다.
다중 모달 스킬의 이미지 기반 공격을 평가하기 위해 MMSkillRisk 벤치마크와 Native-Context Visual Attack 공격 기법을 제안한다. 9개 모델-하arness 구성에서 공격 성공률(ASR) 43.1%를 기록했으며, 정상 작업 완료와 공격 성공이 동시에 발생하는 비율은 36.5%에 달했다.
시사점 이 연구는 다중 모달 스킬의 이미지가 정상 작업과 함께 비인가 작업을 유도할 수 있음을 보여주어, 에이전트 시스템의 안전성 평가 시 이미지 기반 공격을 반드시 고려해야 함을 시사한다.
자율적 LLM 에이전트가 취약점 탐지를 대규모 저장소 검색으로 전환하는 현상을 분석하고, RedHerring이라는 방어 기법을 제안한다. RedHerring은 실제 취약점 발견을 38.7-60.4% 감소시키며, 에이전트가 가짜 취약점 검증에 30.6-51.5%의 토큰과 32.5-49.9%의 실행 시간을 소비하는 것을 보인다.
시사점 RedHerring 방어 기법을 도입하면 자동화된 취약점 탐지 시스템의 효율성을 저하시킬 수 있다.
LLM semantic cache는 유사한 쿼리에 대해 기존 답변을 재사용하여 비용을 절감하지만, 쿼리 임베딩 유사도만을 기준으로 검색하는 방식이 오염 공격에 취약하다는 문제를 발견하고, 삭제 이득(Deletion Gain)과 답변 검증(Answer Check)을 활용한 방어 기법을 제안한다. 3가지 공격 유형에서 82.0%에서 98.2%의 오염 항목을 차단하는 실험 결과를 보인다.
시사점 LLM semantic cache를 사용하는 시스템에서는 쿼리 유사도 기반 검색 방식의 한계를 인식하고, 삭제 이득과 답변 검증을 활용한 방어 기법을 도입할 필요가 있다.
기존 중국어 안전성 벤치마크는 청소년 안전에 주목하지 못했고 단일 턴 테스트로 한계가 있었다. QH-Bench는 중국 사회문화적 맥락에 기반한 청소년 대화 안전성 평가 벤치마크로, 단일 턴 715개 테스트 항목과 다중 턴 100개 대화 흐름을 포함한다.
시사점 이 연구는 중국 청소년 대화 안전성 평가에 필요한 세분화된 벤치마크를 제시하여, 대형 언어 모델의 안전성 향상에 기여할 수 있다.
SaplingGuard는 청소년과 대화형 LLM 상호작용에서 암묵적 발달 위험을 식별하고 안전한 응답을 유도하기 위해 사용자 프로파일과 대화 맥락을 결합한 방어 기법을 제안한다. SaplingBench에서 평가한 결과, Major Hit 비율이 50.8%에서 63.7±1.1%로 향상되었으며, 평균 해로운 응답 비율은 17.10%에서 5.27%로 감소했다.
시사점 청소년과 LLM 상호작용 시 암묵적 위험을 효과적으로 식별하고 안전한 대화를 유도할 수 있는 방어 기법을 제공한다.
LLM 에이전트가 사용하는 외부 도구 실행에서 정상적인 출력을 내면서도 숨겨진 부작용을 일으킬 수 있음을 보인다. 7,549건의 사례에서 45%가 첫 번째 순위에서 위조 실행이 발생했으며, 후속 순위에서는 발생하지 않았다.
시사점 LLM 에이전트가 외부 도구를 실행할 때 출력 결과만으로 안전성을 판단하면 안 된다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.