연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
연구진은 Qwen2.5-1.5B 기반 파이프라인에 Jev를 적용하여 세 가지 구성(필터링 없음, 입력 필터링, 계층적 필터링)을 비교 평가하였다. 계층적 필터링을 사용했을 때 유해 프롬프트에 대한 답변 비율은 2.4%로 감소했으나, 안전한 프롬프트에 대한 거부율은 10.8%까지 증가하였다.
시사점 LLM 안전 필터링 시, 유해 콘텐츠 차단과 합법적 질의 거부 사이의 균형을 맞추는 것이 중요하다.
본 연구는 LLM 에이전트의 권한 상승을 시스템 수준의 보안 목표로 정형화하고, 각 주체의 영향력을 고려하는 Conflux라는 주체 맥락 방어 기법을 제시한다. 이 기법은 완전한 중재, 출처 추적, 그리고 독립적인 정책 포트를 통해 권한 상승을 막을 수 있음을 조건부 권한 격리 정리를 통해 증명한다.
시사점 LLM 에이전트의 권한 상승을 방지하려면 모델 내부의 판단을 넘어선 외부의 시스템 수준 검증 메커니즘이 필요하다.
본 연구는 정적 분석의 한계를 극복하기 위해 ML 프레임워크 API 계측과 eBPF 기반 시스템 콜 추적을 결합한 ModelShield를 개발하여 모델의 실행 시 동작을 분석한다. 이 시스템은 독립 데이터셋에서 제로 폴스 포지티브를 달성했으며, 공개된 공격 변종 중 29개를 탐지했고 145,000개 모델 중 41개의 악성 모델을 식별했다.
시사점 공개된 ML 모델을 사용할 경우, 정적 분석 도구의 탐지 범위를 넘어선 런타임 동작 기반의 보안 검증이 필요하다.
연구진은 서버 측에서 클라이언트 모델을 검사하는 LLM을 사용하여 사전 훈련 없이도 집계 규칙을 선택하는 FedReason을 제안했다. CIFAR-10 및 CIFAR-100 데이터셋에서 Dirichlet 레이블 치우침, 가중치 이질성, 비잔틴 클라이언트를 상대로 FedAvg 대비 평균 1.26%p 향상된 성능을 보였다.
시사점 LLM을 활용하여 분산 학습 서버의 집계 규칙을 동적으로 최적화하는 것이 가능하다.
연구진은 행동 생체 인식에 LLM 기반 추론 모듈을 통합하여 문맥을 인지하는 인증 프레임워크를 개발했다. 이 프레임워크는 규칙 기반 및 점수 기반 모드에서 각각 99.46% 및 99.38%의 인증 정확도를 달성하며 동적 환경에서 높은 견고성을 보였다.
시사점 기존 행동 생체 인식 시스템의 한계를 극복하기 위해 LLM을 통합하는 접근 방식이 실제 환경에서 높은 인증 정확도를 달성할 수 있다.
연구진은 토큰을 생성하지 않고 텍스트에 대한 질문에 답하는 오픈 가중치 의사결정 모델을 사용하여 검색된 웹 페이지의 공격적 지시나 오염 시도를 탐지하는 방법을 테스트했다. 이 게이트는 공격 성공률을 27.9%에서 5.7%로 낮추었고, 오염 테스트베드에서 필터링을 통해 답변에 포함되는 가짜 페이지 노출을 0.5%로 유지하면서 정확도를 83%로 유지했다.
시사점 검색된 자료를 처리할 때, LLM을 게이트로 활용하여 공격적 입력이나 오염된 정보를 걸러내는 것이 효과적이다.
연구진은 7개의 공격군을 학습에서 제외하고 실제 트래픽에 주입하여 제로샷 판별 모델과 지도 학습 탐지기를 비교 분석하였다. 학습된 탐지기는 제외된 공격군 중 37%에서 60%의 경로 탐색(path traversal)에 대해 낮은 확률을 부여했으며, 이는 알려진 공격군에 비해 낮은 비율로만 심층 검토(escalate)에 도달했다.
시사점 2단계 분류 시스템에서 빠른 모델의 판별 능력이 학습 범위를 벗어난 공격에 대해 편향되거나 불완전한 결정을 내릴 수 있음을 시사한다.
본 연구는 공격자와 방어적 에이전트 간의 상호작용을 포착하는 형식적 모델을 제시하고, 이 모델을 사용하여 상호작용의 역학을 분석했다. 분석 결과, 미끼 던지기 에이전트의 존재 비율이 특정 임계값을 초과하면 사기꾼의 수익성이 마이너스로 전환되며, 양측이 같은 속도로 발전할 경우 방어자가 우위를 점할 수 있음을 발견했다.
시사점 AI 기반 사기꾼과의 대치 상황에서 방어적 에이전트의 투입은 특정 조건 하에 장기적인 효과를 가질 수 있다.
본 연구는 복사-붙여넣기 채널을 통해 전송되는 텍스트의 출처를 추적하기 위해, 동형 문자(homoglyph)의 변형을 키 기반의 인증 채널로 활용하는 KeHoSu를 제안하였다. 이 기법은 LLM 생성 텍스트에 적용하여 178자(약 두 문장) 또는 167자(약 한 문장)의 짧은 분량에서도 대부분의 발췌문을 원래 계정에 귀속시킬 수 있음을 보였다.
시사점 텍스트가 복사-붙여넣기 과정을 거치더라도, KeHoSu를 통해 해당 텍스트가 어느 플랫폼과 계정에서 생성되었는지 추적할 수 있다.
본 연구는 클라우드 기반 LLM 교사가 차량 측 경량 IDS 모델을 감독하는 CANMentor 프레임워크를 제안하며, 개인 정보 보호를 위해 원본 CAN 메시지 대신 프록시를 사용하여 클라우드 추론을 수행한다. 이 지식 증류 방식은 ROAD 및 HCRL 데이터셋에서 최대 상대적 Macro F1 향상 25.01% 및 20.79%를 달성했고, 교사 예측은 국소적 결정 경계 근처 메시지의 탐지 정확도를 38.71-42.00 퍼센트포인트 향상시켰다.
시사점 CAN 버스 환경에서 리소스 제약과 데이터 프라이버시를 고려하면서도 강력한 침입 탐지 성능을 확보할 수 있는 협업 모델링 접근법을 시사한다.
본 연구는 공격자가 통제하는 콘텐츠가 진행 중인 작업의 결과를 변조하는 새로운 형태의 간접 프롬프트 인젝션(IPI)을 정의하고, 세 가지 도구 사용 환경에서 90가지 검증된 사례를 통해 벤치마크를 구축했다. 다섯 가지 목표 중 일부를 공격할 경우, 방어 없이도 특정 LLM에서 평균 성공률이 나타났으며, 방어 기법 적용 시에도 공격 목표에 따라 성공률이 달라짐을 확인했다.
시사점 LLM 에이전트의 방어 기법은 공격이 목표로 하는 의사결정의 세부 요소(목표, 규칙, 상태 등)에 따라 그 효과가 다르게 나타나므로, 방어의 범위를 정확히 이해해야 한다.
본 연구는 LLM 에이전트의 웹 취약점 공격에 대응하기 위해 애플리케이션 소스 기반의 정적 허니팟을 설계하고, 공격 요청을 격리된 그림자 복사본으로 라우팅하는 방어 기법을 고안했다. 이 정적 계획은 40개의 CVE-Bench 과제에서 Claude Opus 4.8의 실제 침해를 26/40에서 5/40으로, ARTEX 프레임워크의 침해를 20/40에서 0/40으로 줄이는 데 성공했다.
시사점 이러한 정적 허니팟 접근법은 공격을 완전히 막지 못하더라도 공격을 격리된 환경으로 유도하여 실제 목표의 침해를 효과적으로 줄일 수 있다.
연구진은 자동화된 벤치마크 구축과 FOL 가이드 이중 분기 탐색을 결합한 JailBound라는 통합 평가 프레임워크를 제시했습니다. 이 프레임워크를 13개 모델군 46개 LLM에 적용한 결과, High-Value Branch는 ZOL 단독 기준 대비 평균 ASR을 각각 5.1 및 4.9 퍼센트포인트 향상시켰습니다.
시사점 LLM의 안전 경계를 체계적으로 탐색하고 공격 성공률을 높이기 위해 자동화된 평가 프레임워크를 활용할 필요가 있다.
본 연구는 보고서 관찰을 기법 정의에 연결하는 공유 행동 표현을 기반으로 지식 제약형 LLM 추론 프레임워크인 MEvince를 제시했다. MEvince는 11가지 베이스라인 대비 정확도 F1 점수를 17.4% 향상시키고 골드 레이블 후보군 커버리지를 31.6%에서 47.9%로 높였다.
시사점 LLM을 활용하여 산재된 악성코드 보고서에서 체계적으로 기법을 식별하는 데 지식 제약적 접근 방식이 유용하다.
연구진은 텍스트, JSON, 서명된 요구사항 매니페스트 핸드오프를 비교하며, HMAC-SHA256으로 서명된 매니페스트가 공격으로부터 안전하지 않은 커밋을 69.4%에서 9.0%로 감소시켰음을 보였다. 서명은 전송 중 변조를 막지만, 추출 단계의 오류가 잔여 위험의 근원이 된다.
시사점 LLM 에이전트 간의 핸드오프 시 서명은 전송 중 변조를 방지하지만, 요구사항 추출 단계의 신뢰 경계(trust boundary) 관리가 중요하다.
본 연구는 $\mathsf{TraintoDefend}$의 가중치 유사성 기반 방어 기법이 작은 섭동에 취약함을 발견하고, $\mathsf{SimBreak}$라는 적응형 군집화 규칙을 도입하여 이를 공격하였다. MNIST 데이터셋으로 훈련된 여섯 개의 완전 연결 네트워크에서 $\mathsf{SimBreak}$는 타겟 레이어 시그니처 복구율을 0%에서 100%까지 높였다.
시사점 모델의 가중치 유사성만을 보호 기준으로 삼는 것은 불충분하며, 암호 분석적 추출 방어를 평가할 때는 적응형 평가가 필수적이다.
SPILLWAY는 도구 출력에서 사용자 작업에 나타나지 않은 목표 값을 읽기 전용 도구에서 받은 경우에만 에이전트 호출을 승인하는 결정론적 필터링을 통해 공격을 방어한다. 이 기법은 세 가지 백본과 하나의 태스크 스위트에서 표준 템플릿 인젝션 공격을 성공적으로 차단했으며, 강화 학습 공격에 대해서도 평균 공격 성공률 0.007을 달성했다.
시사점 도구 사용 에이전트가 실제 행동을 취할 때, 입력 단계와 도구 출력 단계를 분리하여 검증함으로써 공격으로부터 안전성을 확보할 수 있다.
ARTEX는 보안 팀이 시스템을 평가하도록 설계된 중국산 오픈소스 AI 기반 침투 테스트 플랫폼이다. 이 플랫폼은 LLM을 사용하여 여러 AI 에이전트가 테스트를 계획하고 도구를 실행하며 잠재적 취약점의 증거를 기록하게 한다.
시사점 AI를 활용한 자동화된 침투 테스트 도구의 등장과 그 활용 사례를 인지해야 한다.
본 연구는 ChatGPT의 코드 실행 런타임에 존재하는 취약점을 이용하여 DNS 터널링을 통해 공격자가 통제하는 서버로 민감한 대화 데이터를 유출하는 방법을 분석하였다. 이 취약점은 런타임의 네트워크 격리를 우회하여 데이터를 유출할 수 있음을 보여주었다.
시사점 ChatGPT의 코드 실행 환경에서 DNS 터널링을 이용한 데이터 유출 공격 경로가 존재하므로 해당 기능 사용 시 보안에 유의해야 한다.
본 연구는 의미론적 통신(SemCom) 신호가 담고 있는 의미 정보와 송신자 신원 정보를 모두 활용하여 능동적 송신자 사칭 및 수동적 신원 추론에 대응하는 통합 신원 보호 패러다임을 구축했다. 이 프레임워크는 인증 모드와 은닉 모드를 운영하며, 두 가지 대표적인 사례 연구를 통해 제안된 접근 방식을 평가했다.
시사점 IoT 환경에서 의미 전달과 함께 송신자의 신원을 보호해야 할 경우, 통신 신호 자체를 신원 정보의 운반체로 활용하는 통합적 접근이 필요하다.
연구진은 서명된 도구라도 악성 코드를 숨겨 기밀 정보를 유출할 수 있음을 보여주었고, 이를 막기 위해 데이터가 없는 초기 상태에서 포크(fork)하여 실행하는 germline execution을 도입했다. 이 방식은 153번의 공격 시도 중 모든 공격에서 비인가된 정보 공개가 없었으며, 이는 기존 방어 대비 높은 성공률을 보였다.
시사점 인증된 소프트웨어라도 악성 코드가 숨겨져 있을 수 있으므로, 도구체인 실행 시 정보 격리(data-isolated execution)를 통해 신뢰를 검증해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.