Open AI Luncurkan GPTBot Sebagai Web Crawler

Pada awal bulan ini, Open AI sebagai platform penyedia ChatGPT telah meluncurkan web crawler yang disebut sebagai GPTBot untuk mengakses informasi di internet dan menyediakannya di platform mereka. Bagaimana tanggapan mesin telusur dan bagaimana cara membatasi crawler tersebut untuk mengakses konten kita? Temukan jawabannya di bawah ini.

 

Apa itu GPTBot?

Dalam langkah untuk memajukan teknologi kecerdasan buatan (AI), OpenAI telah memperkenalkan GPTBot, sebuah web crawler canggih yang dirancang untuk meningkatkan kemampuan model AI seperti GPT-4 dan GPT-5 yang sangat dinanti.

GPTBot berperan penting dalam pengembangan AI. Web crawler ini dapat diidentifikasi dengan token agen pengguna unik "GPTBot" dan string agen pengguna sebagai berikut:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot) 

 

Fungsi dan Batasan GPTBot

Pada dokumentasi OpenAI, GPTBot akan digunakan dengan cermat untuk memindai dan mengumpulkan data dari halaman web, dengan janji untuk berkontribusi pada kemajuan model AI yang akan datang. 

Mereka juga memastikan kualitas dan etika sumber data dengan proses penyaringan yang ketat. Misalnya, pada sumber web yang mengharuskan pembayaran dan melibatkan pengumpulan informasi yang dapat diidentifikasi secara pribadi atau personally identifiable information (PII), maupun teks yang melanggar kebijakan yang telah ditetapkan, secara sistematis akan disaring.

 

Cara Mengontrol Interaksi GPTBot pada Website

Melalui forum diskusi webmaster world, banyak dari webmaster telah menemukan kunjungan GPTBot pada website mereka dengan frekuensi yang tinggi. Hal ini membuat mereka lebih waspada dan melakukan beberapa hal seperti disallow robot tersebut.

Jika Anda merasa robot AI ini tidak seharusnya mengumpulkan informasi dari situs Anda, maka berikut adalah cara membatasinya.

Implementasikan direktif tertentu dalam file robots.txt situs. Jika Anda ingin sepenuhnya melarang GPTBot mengakses bagian apa pun dari situs Anda, sertakan perintah:

 

User-agent: GPTBot
Disallow: /

 

Dengan menambahkan perintah di atas, Anda secara efektif telah memberitahu GPTBot untuk tidak merayapi bagian mana pun dari situs Anda.

 

Namun, jika Anda ingin memberikan akses tertentu kepada GPTBot pada bagian-bagian tertentu dari situs, Anda dapat menerapkan perintah sebagai berikut:

 

User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/

Dalam skenario ini, GPTBot diizinkan untuk mengakses konten dalam "direktori-1," namun secara eksplisit dilarang merayapi "direktori-2." Kontrol ini memungkinkan Anda untuk menyesuaikan akses GPTBot dengan preferensi dan prioritas situs web.

 

Tanggapan Mesin Telusur

Sebagai tanggapan dari gerakan OpenAI, Google tampaknya sedang mempertimbangkan alternatif lain untuk mencegah crawler GPTBot yang dapat merugikan. Dalam blognya, Google mengumumkan niatnya untuk mengembangkan protokol pelengkap robots.txt yang telah digunakan selama lebih dari tiga dekade. Motivasi di balik langkah ini adalah berkembangnya teknologi AI baru, bukan hanya dari Google tetapi juga dari pemain industri lainnya.

Pengembangan ini menyusul laporan tentang OpenAI yang memanfaatkan konten internet untuk layanan ChatGPT-nya. Perlu dicatat bahwa pengumuman ini belum final. Pernyataan Google lebih menekankan komitmennya untuk terlibat dalam diskusi dan kolaborasi dengan komunitas online. 

Dalam pernyataan yang dirilis di Twitter, Google menyatakan:

“Hari ini, kami memulai diskusi publik, mengundang anggota komunitas web dan AI untuk memberikan pendapat tentang pendekatan terhadap protokol pelengkap. Kami ingin melibatkan berbagai suara dari berbagai penerbit web, masyarakat sipil, akademisi, dan bidang lainnya dari seluruh dunia untuk bergabung dalam diskusi ini, dan kami akan mengumpulkan mereka yang tertarik untuk berpartisipasi dalam beberapa bulan mendatang."

Demikian ulasan GPTBot yang saat ini sudah berjalan dan bagaimana Anda dapat membatasi interaksinya dalam situs Anda.