* Search Engine Land 기사 - Google introduces Google-Extended to let you block Bard, Vertex AI via robots.txt

https://searchengineland.com/google-extended-crawler-432636

# 기사 일부 Bard 번역 후 다듬음

이제 robots.txt에서 Google-Extended를 차단하여 Bard 및 Vertex AI가 웹사이트 또는 사이트의 일부에 접근하는 것을 방지할 수 있습니다.

Google-Extended를 완전히 차단하려면 사이트의 robots.txt 파일에 다음을 추가하세요.

User-agent: Google-Extended
Disallow: /

이걸 왜 신경 쓰는가. OpenAI의 웹 크롤러인 GPTBot을 출시한 8월 이후 가장 인기 있는 1,000개 웹사이트 중 242곳이 차단하기로 결정했습니다. 이제 여러분의 웹사이트도 구글 AI 제품 개선을 돕는 데 참여하지 않을지 여부를 결정할 수 있습니다.

* 관련 구글 크롤러 공식 설명

https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=en (영어)

https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=ko

(한국어 문서 - 단, 작성 시점 현재 Extended 관련 내용은 아직 올라오지 않았습니다)