Claude AI의 웹 검색 기능 사용 시 사이트 소유자가 취해야 할 기술적 대응 방안 분석
Anthropic의 Claude AI는 학습용, 검색용, 사용자 요청 처리용 세 가지 유형의 봇을 운영하며, 각 봇은 robots.txt를 통해 개별적으로 접근을 제어할 수 있다. Claude가 웹 검색을 통해 답변을 생성할 때 Brave Search가 사용된 것으로 추정되며, 사이트 소유자는 각 봇의 접근을 허용하거나 차단하는 구체적인 robots.txt 설정 방법을 숙지해야 한다.
(새 창에서 원문 열기)