늑대를 부르는 경계: 두려운 단어가 에이전트 가드레일을 정당한 행동을 거부하게 만드는 방법
LLM이 실행하기 전에 각 행동을 승인하거나 거부하는 에이전트 가드레일의 과도한 안전성 문제를 분석하고, 이를 평가할 수 있는 새로운 벤치마크인 Cautious Bench를 제안한다. Cautious Bench는 756개의 결정 가능한 양호/이중 쌍과 40개의 결정 불가능한 쌍을 포함하며, 5개 디자인에서 6개의 가드레일을 평가하여 '이름 숭배 효과'를 발견했다.
시사점 이 연구는 에이전트 가드레일의 과도한 거부 현상을 평가할 수 있는 벤치마크를 제공하여, AI 보안 시스템의 정확한 설계에 기여할 수 있다.