Google-Extended: Crawler Baru Google untuk Memblokir AI

Dalam perkembangan terbaru untuk memberikan kendali lebih besar kepada pemilik situs web atas konten mereka, Google memperkenalkan Google-Extended, tambahan baru dalam keluarga web crawling-nya. 

Crawler khusus ini memungkinkan administrator situs web untuk menentukan apakah konten mereka dapat digunakan untuk membantu Bard dan Vertex AI generative APIs atau produk AI Google di masa depan.

 

Fungsi Google-Extended

Pada dokumentasi Google, berikut adalah informasi yang kami dapatkan:

 

1. Pengendalian Konten yang Lebih Mudah

Dengan diperkenalkannya Google-Extended, pemilik situs web kini dapat mengelola bagaimana konten mereka dimanfaatkan dalam inisiatif AI Google. Crawler baru ini berfungsi sebagai cara untuk memberikan atau menolak izin kepada Google untuk menggunakan konten mereka dalam proyek AI tertentu.

 

2. Membatasi Akses Bard

Salah satu fitur utama dari Google-Extended adalah kemampuannya untuk membatasi akses pada proyek AI seperti Bard. Administrator situs web yang ingin mencegah Bard menggunakan konten mereka dapat dengan mudah melakukannya dengan menentukan preferensi ini dalam file robots.txt mereka, menggunakan user agent "Google-Extended."

Penting untuk dicatat bahwa meskipun Google-Extended memfasilitasi pengendalian konten, hal ini tidak memengaruhi operasi crawling reguler Google. Google akan terus melakukan crawling pada situs web menggunakan Googlebot standar dan bot lainnya. 

Penggunaan Google-Extended hanya berfungsi sebagai sinyal kepada Google untuk tidak menggabungkan konten ke dalam proyek seperti Bard atau upaya AI lainnya.

 

Cara Mengontrol Konten Menggunakan Google-Extended

Untuk penggunaannya, webmaster bisa langsung memperbarui file robots.txt dengan menuliskan:
 

User-agent: Google-Extended 

Disallow: /

Dengan menuliskan rules tersebut di robots.txt, Anda sudah mulai bisa mengontrol konten supaya tidak di-crawl oleh Bard dan Vertex AI.

 

Kesimpulan

Dengan adanya Google-Extended, pemilik web menjadi lebih mudah dalam mengontrol penggunaan konten mereka oleh AI. Namun, pengontrolan konten reguler masih dapat dilakukan menggunakan robot.txt seperti biasa. 

Google-Extended berlaku sebagai sinyal bagi mesin pencari agar tidak menggunakan konten halaman tersebut untuk keperluan pengembangan AI seperti Google Bard.