연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 K-12 학교 생태계 전반에 걸친 6가지 차원으로 구성된 AI 보안 리터러시(AISL) 프레임워크를 제안하고, 이를 실제 AI 모델 기반의 브라우저 플랫폼으로 구현하였다. 설문 조사 결과, 교사 중 34.5%만이 학교 AI 정책을 가지고 있었으며, 기술적 견고성 평가는 공격과 훈련된 모델에 따라 달라짐을 확인하였다.
시사점 AI 기술이 교육 현장에 도입됨에 따라, 교육 생태계 전반에 걸친 AI 보안 리터러시 역량 확보가 필요하다.
본 연구는 대화형 LLM 서비스의 영속적 메모리 기능을 악용하여 세션 간 공격 전파가 가능한 메모리 주입(memory injection)이라는 새로운 위협 모델을 제시하였다. 이 모델을 통해 ChatGPT Instant 5.3, Claude Sonnet 4.6, Gemini 3 Flash 등 주요 서비스들이 영속적으로 허위 정보를 유포하거나 유해 콘텐츠를 생성하도록 조작될 수 있음을 입증하였다.
시사점 상용 LLM 서비스의 영속적 메모리 기능은 공격자가 세션을 넘어 지속적으로 시스템을 침해할 수 있는 새로운 공격 경로를 제공하므로 이에 대한 방어 메커니즘 구현이 시급하다.
연구진은 오픈소스 하네스를 사용하여 24가지 모델-러너 구성을 실제 코드베이스에 적용하여 취약점 발견 과정을 연구하였다. 네 가지 모델을 사용한 실험에서, 최소 프롬프트에서 CodeQL 기반 콜 그래프를 갖춘 엔지니어링된 프롬프트로 전환 시, 소규모 및 중급 모델의 가중치 부여된 수율이 20-86% 향상되었다.
시사점 LLM 기반 취약점 발견 시, 모델, 프롬프트, 컨텍스트를 작업에 맞게 매칭하고 여러 구성을 결합하는 것이 광범위한 커버리지를 위해 중요하다.
본 연구는 LLM 에이전트가 세션 간 메모리 파일이나 예약된 작업을 통해 상태를 유지하는 취약점을 'Carryover Attack'으로 정의하고 CarryoverBench를 구축했다. 공격 성공 시, 플랜티드 페이로드는 다섯 번의 라운드 동안 측정 가능한 감쇠 없이 재실행되었으며, 이는 런타임 계층 제어가 필요함을 시사한다.
시사점 LLM 에이전트의 장기적인 상태 유지 메커니즘을 고려하여, 프롬프트 수준 개입 외에 런타임 계층의 방어적 통제가 필요하다.
본 연구는 단일 및 다중 에이전트 LLM 시스템의 안전을 확보하기 위해, 각 에이전트 수준과 시스템 수준의 검사를 결합한 통합 프레임워크 MAS-Guard를 제안했다. 이 프레임워크는 검증된 시나리오에서 공격 성공률을 71.5-86.3% 감소시키는 것으로 평가되었다.
시사점 복잡한 에이전트 기반 LLM 시스템을 운영할 때는 각 구성 요소와 상호작용에 대한 다층적이고 통합된 보안 검증 메커니즘이 필수적이다.
연구진은 검색된 컨텍스트와 사용자 질의를 함께 평가하여 공격 여부를 분류하는 약 0.5B 파라미터의 소형 언어 모델(SLM)인 nokast-secureRAG를 제안하였다. 이 모델은 검증된 테스트 세트에서 0.026의 오탐률과 0.994의 탐지 재현율을 달성하며 기존 기법들을 능가하였다.
시사점 RAG 시스템의 보안을 강화하기 위해 검색 단계와 생성 단계 사이에 SLM을 활용한 보안 필터링을 적용할 수 있다.
본 연구는 영구 기억을 사용하는 LLM 에이전트가 대화 과정에서 발생하는 정보 누출을 시뮬레이션했으며, 기억에 의존하는 응답이 누적되어 프라이버시 침해를 강화하는 순환 구조를 발견했다. 에이전트의 응답을 통해 해당 순환 구조를 약화시키면 기억 없이도 높은 응답 품질을 유지하면서도 누출을 줄일 수 있었다.
시사점 LLM 에이전트가 기억을 활용할 때, 에이전트의 응답 단계에서 정보 누출을 제어하는 것이 사용자 입력이나 저장된 정보 필터링보다 효과적이다.
본 연구는 LLM 에이전트가 사용하는 장기 기억에 대한 보호 계층인 ClawMMU를 제안하며, 메모리 조각마다 소유자, 범위, 출처, 권한을 레이블링한다. ClawMMU는 콘텐츠가 모델 컨텍스트에 들어가거나 저장소에서 나오거나 도구 호출을 유발할 때마다 이러한 레이블을 검사하여 메모리 공격을 방어한다.
시사점 LLM 에이전트의 메모리 접근에 권한 검사를 도입하여 외부 입력에 의한 악의적인 명령 주입을 방어할 수 있다.
본 연구는 연합 학습에서 모델 소유권 검증에 사용되는 배치 정규화 기반 워터마킹 기법의 근본적인 취약점을 식별하고 이를 공격하는 데이터 비의존적 공격을 제안했다. 실험 결과, 제안된 공격은 대표적인 두 가지 FL 워터마킹 기법에서 모델 성능에 미치는 영향은 최소화하면서 워터마크를 일관되게 제거할 수 있음을 보였다.
시사점 DNN 워터마킹 기법을 평가할 때는 보안을 불투명성에 의존하기보다 커크호프스 원칙에 맞는 위협 모델을 고려해야 한다.
본 연구는 LLM이 접근 권한에 따라 정보 공개 수준을 조절하는 '점진적 공개' 접근법을 제안하고, 이를 공개 인지 생성 문제로 모델링하여 보상 기반 최적화 프레임워크를 도입했다. 실험 결과, 이 방법은 정확도와 유용성을 유지하면서 정보 유출을 상당히 줄이는 것으로 나타났다.
시사점 LLM 배포 시 정보 공개 제어는 생성 과정 자체에 통합되어야 안전하고 유용한 서비스를 제공할 수 있다.
연구진은 자율적인 언어 모델 공격자와 방어 모델을 대상으로 330회의 세션을 진행하며 공격자와 방어자의 에너지 소비를 측정했다. 공격자 대 방어자 에너지 비율은 특정 설정에서 48개 중 41개에서 1 이상이었으며, 이는 SCADA 기만 아키텍처의 동기를 부여했다.
시사점 언어 모델 공격에 대응하여 방어 모델을 활용한 기만 전략을 고려할 수 있다.
본 연구는 전통적 에뮬레이션, 경량 LLM, 강력한 클라우드 LLM을 통합한 HydraPoT라는 설정 가능한 다중 에이전트 허니팟 프레임워크를 제안하였다. 이 프레임워크는 운영 비용을 3.7배 절감하면서도 클라우드 LLM 단독 사용과 유사한 수준의 충실도를 달성할 수 있음을 입증하였다.
시사점 운영 예산이 제한적인 상황에서도 설정 가능한 다중 에이전트 라우팅을 통해 현실적인 LLM 기반 허니팟 운영이 가능하다.
본 연구는 구조적 엔트로피, 하이퍼링크 그래프 토폴로지, 의미 토큰 분포 등 다중 특징 영역에 걸쳐 수학적으로 정의된 볼록 껍질 경계를 사용하여 악성 URL을 식별하는 CyberHull 프레임워크를 소개한다. 실험 결과, CyberHull은 92%의 탐지 정확도를 달성하여 PCA 기반 선형 접근법의 32% 정확도를 크게 능가했다.
시사점 기존의 확률적 또는 머신러닝 기반 방법의 한계를 극복하며, 계산 효율적이면서도 결정론적인 악성 URL 탐지 대안을 제시한다.
본 연구는 KGW, GumbelSoft 등 다양한 LLM 워터마킹 기법들의 근본적인 취약점을 '점수-비율 정렬(score-ratio alignment)'이라는 연결고리를 통해 밝혀냈다. 공격자는 블랙박스 접근만으로도 모든 대상 워터마킹 기법에 대해 탐지율을 최대 0.05 이하로 낮추면서도 텍스트 품질을 유지하는 공격을 성공시켰다.
시사점 현재의 워터마킹 방법들은 탐지 점수와 토큰 확률 변화 사이의 본질적인 연결 때문에 현실적인 공격 조건에서 신뢰성을 확보하기 어렵다.
본 연구는 다양한 멀티모달 데이터를 활용한 연합 최적화 시, 각 모달리티별 데이터 보호를 위해 하이브리드 공개 키 암호화(HPKE)를 이용한 키 관리를 제안한다. 이 프레임워크는 DNA 도메인 표현과 구조적 변환을 거쳐 AES-GCM으로 암호화하며, 각 클라이언트 환경에서 필요한 모달리티만 복호화하여 사용한다.
시사점 다양한 형태의 데이터를 결합하여 모델을 최적화할 때, 각 데이터 유형별로 독립적인 암호화 및 키 관리를 적용하여 데이터 프라이버시를 확보할 수 있다.
본 연구는 개별 액션별로 권한을 부여하는 방식이 전역 정책을 만족시키지 못하는 구성적 권한 실패(CAF)가 발생함을 이론적으로 규명했다. SAT/SMT 합성 도구를 사용하여 생성된 CAF 증거에 대해, 각 액션은 승인되었으나 두 실행을 종합했을 때 전역 정책을 위반하는 사례를 발견했다.
시사점 전역 정책을 준수하려면 액션별 모니터링만으로는 불충분하며, 실행 간의 비교 또는 오탐(false alarm)을 수용하는 모니터링이 필요하다.
본 연구는 모델 개발을 위한 벤치마크의 인센티브를 악용하는 BenchDoor라는 데이터 중독 공격 기법을 소개했습니다. 이 공격은 Qwen 및 Gemma 모델을 대상으로 포이즈닝 비율 2%에서 10% 사이에서 82.33%에서 100.00%의 공격 성공률을 달성했습니다.
시사점 벤치마크 데이터셋이나 훈련 자원이 공격 벡터로 사용될 수 있으므로, 모델 개발 과정에서 사용되는 데이터의 무결성을 검증해야 한다.
본 연구는 텍스트-이미지 모델이 프롬프트에 명시되지 않은 시각적 개념을 생성할 때, 이를 복구하기 위해 임베딩 공간에서 작동하는 유전 알고리즘인 EmbGA를 제안하였다. EmbGA는 탐색 예산이 클 때 가장 높은 정렬도를 달성했으며, 자연 이미지에 대해 가장 근거 있는 토큰을 복구했고 언어 모델 가이드 검색보다 훨씬 빠르게 실행되었다.
시사점 텍스트-이미지 모델의 잠재적 개념을 탐색하고 검증하는 데 EmbGA와 같은 접근법을 고려할 수 있다.
본 연구는 대규모 의료 영상에 적용되는 연합 학습 시스템에 대해 DCGAN을 이용한 모델 역변환 공격을 제안하고, 공격이 훈련 데이터의 의미 있는 합성 이미지를 재구성할 수 있음을 보였다. 공격 성공률을 낮추기 위해 차분 프라이버시를 적용하고 개인화된 연합 학습을 결합하여 정확도 저하를 극복하는 방어 프레임워크를 제시하였다.
시사점 연합 학습 기반 시스템을 사용할 경우, 공격에 대한 방어책으로 차분 프라이버시와 개인화된 FL을 결합하는 것이 중요하다.
본 연구는 로컬에 배포된 오픈 가중치 LLM을 사용하여 코드 리뷰를 수행하는 AgenticVulHunter를 제안하고 SCRBench의 144개 취약점 사례에 대해 평가했다. Qwen3-Coder-30B는 정확도 18.4%, DeepSeek V3.1 Terminus는 23.8%의 정확도를 달성했다.
시사점 로컬 LLM을 활용하여 보안 지식을 갖춘 에이전트 기반 코드 리뷰를 시도할 수 있다.
본 연구는 모델 풀의 공격적 취약성을 측정하는 새로운 지표인 시스템적 공격적 견고성(SAR)을 도입하고, 이를 이론적으로 부분 집합 커버 문제로 정식화했다. DeepSeek-R1 및 Claude Opus 4.6에서 증류된 모델 풀은 상위 모델 풀보다 낮은 추정 시스템적 견고성을 보여 증류의 잠재적 시스템적 비용을 시사한다.
시사점 모델 풀의 취약성을 개별 모델의 견고성 점수만으로 평가하는 것이 아니라, SAR과 같은 새로운 지표를 통해 집단적 관점에서 평가할 필요가 있다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.