robots.txt는 AI 학습을 막지 못한다: 각 AI 서비스별로 제어 방법 안내
robots.txt의 Disallow 지시는 크롤러가 페이지를 다운로드하는 것을 막을 뿐, 다운로드된 콘텐츠가 AI 모델 학습에 사용되는 것을 막지는 못한다. 각 AI 서비스(GPTBot, ClaudeBot 등)는 학습과 검색을 담당하는 별도의 크롤러를 사용하므로, 원하는 대로 제어하려면 각 크롤러를 개별적으로 관리해야 한다. 또한, 일부 서비스는 robots.txt를 따르지 않는 크롤러가 존재하여 완벽한 차단은 어렵다.
(새 창에서 원문 열기)