Google Perbarui Seluruh Informasi pada Dokumentasi Crawler

Google memperbarui dokumentasinya untuk crawler dengan memberikan detail tambahan serta membagi kontennya menjadi tiga bagian baru yang masing-masing lebih berfokus pada bahasannya. 

Awalnya, dokumentasi crawler terdiri dari satu halaman yang membahas keseluruhan hal. Pada pembaruan kali ini, Google memisahkan serta menambah bagian baru untuk menjelaskan produk yang terpengaruh setiap crawler serta membahas cara menggunakan token user agent. Tentunya, pembaruan ini menambah kedalaman informasi tentang semua halaman crawler.

 

Apa yang Berubah dari Dokumentasi Crawler?

Google menambahkan dua bagian baru yang tersebar di semua crawler, yaitu produk yang terdampak serta contoh kelompok robots.txt. Berikut adalah salah satu tangkapan layar yang menunjukkan penambahan dua bagian baru crawler Google:

Google menyatakan alasan diperbaruinya informasi pada dokumentasi ini adalah karena panjangnya pembahasan sehingga membatasi pergerakan Google untuk menambah informasi baru tentang crawler mereka. 

Selain itu, pada changelog, Google juga menuliskan bahwa mereka menambahkan beberapa informasi, seperti memperbarui string HTTP user agent dari GoogleProducer, menambahkan informasi pengodean konten, serta memindahkan panduan JavaScript dari blog ke dokumentasi sehingga pengguna dapat lebih leluasa mempelajari panduannya. 

 

Crawler Umum Google dan Dampak yang Diberikan ke Produk Google

Dokumentasi Google untuk crawler umum menjelaskan string user agent dalam permintaan HTTP, token user agent untuk baris  User-agent: pada robots.txt, dan produk-produk Google yang terdampak preferensi crawling. 

Google juga menjelaskan bahwa beberapa crawler memiliki lebih dari satu token sehingga pengguna hanya perlu mencocokkan satu token agar memenuhi syarat. 

Berikut adalah rincian daftar crawler beserta produk yang terpengaruh:

• Googlebot: Preferensi crawling ini memengaruhi Google Penelusuran, termasuk semua fiturnya, Discover, Google Gambar, Google Video, dan Google Berita.
• Googlebot Image: Preferensi crawling ini memengaruhi Google Gambar, Discover, Google Video, dan semua fitur Google Penelusuran yang memuat gambar, logo, serta favicon. 
• Googlebot Video: Preferensi ini memengaruhi fitur Google Penelusuran yang berkaitan dengan video serta produk lain yang bergantung pada video. 
• Googlebot News: Preferensi ini memengaruhi semua fitur Google Berita, seperti tab Berita di Google Penelusuran, dan aplikasi Google Berita. 
• Google Storebot: Preferensi ini memengaruhi seluruh fitur Google Belanja, termasuk tab Belanja di Google Penelusuran dan Google Shopping. 
• Google-InspectionTool: Preferensi ini memengaruhi alat-alat pengujian Penelusuran, seperti Rich Result Test dan URL inspection pada Search Console. Crawler ini tidak memengaruhi Google Penelusuran atau produk lainnya.
• GoogleOther: Preferensi ini tidak memengaruhi produk tertentu karena merupakan crawler umum yang digunakan untuk mengambil konten yang bisa diakses pengguna luas dari situs-situs. 
• GoogleOther-Image: Sama seperti GoogleOther, crawler ini tidak memengaruhi produk tertentu. GoogleOther-Image merupakan versi GoogleOther untuk mengambil URL gambar-gambar yang diunggah secara publik. 
• GoogleOther-Video: Sama seperti GoogleOther, crawler ini tidak memengaruhi produk tertentu. Tugasnya pun sama seperti GoogleOther-Image, hanya saja crawler ini mengambil URL video. 
• Google-CloudVertexBot: Crawler ini memengaruhi crawling yang diminta oleh pemilik situs untuk membangun Vertex AI Agents dan tidak berdampak pada Google Penelusuran dan produk lainnya.
• Google-Extended: Crawler ini merupakan token produk mandiri yang dapat digunakan oleh pemilik web untuk mengelola apakah situs mereka membantu meningkatkan Aplikasi Gemini dan API generatif Vertex AI, termasuk generasi model mendatang yang menggerakkan produk-produk tersebut.  Crawler ini tidak memengaruhi inklusi situs dan peringkatnya di hasil pencarian. 

 

Crawler untuk Kasus Spesial Google dan Dampaknya Bagi Produk

Selain crawler umum, Google juga menerangkan crawler untuk kasus spesial dan dampaknya bagi produk, yang dapat dipelajari berikut ini:

• APIs-Google: Crawler ini memengaruhi pesan push notification milik Google APIs.
• AdsBot Mobile Web: Crawler ini memengaruhi kemampuan Google Ads untuk menilai kualitas iklan dari sebuah halaman web. 
• AdsBot: Preferensi ini memiliki pengaruh yang sama dengan AdsBot Mobile Web. 
• AdSense: Preferensi ini memengaruhi Google AdSense, di mana crawler-nya akan mengunjungi situs-situs yang berpartisipasi untuk memberikan iklan yang relevan kepada mereka. 
• Google-Safety: User agent Google-Safety menangani penelusuran yang spesifik untuk bentuk penyalahgunaan, seperti penemuan malware untuk tautan yang diposting secara publik di properti Google. Jadi, penggunaannya tidak terpengaruh oleh preferensi penelusuran.

 

Daftar User-Triggered Fetchers Google

Halaman lain yang ditambahkan oleh Google sebagai pembaruan dokumentasi crawler adalah user-triggered fetchers. Halaman ini membahas bot yang diaktivasi oleh permintaan pengguna untuk melakukan fungsi pengambilan dalam produk Google serta daftar bot-nya. 

Berikut adalah daftar bot user-triggered fetchers dan produk yang terasosiasi:

• Feedfetcher: Bot ini digunakan untuk melakukan crawling RSS atau Atom feeds untuk Google Berita dan PubSubHubbub.
• Google Publisher Center: Bot ini mengambil dan memproses feed yang disediakan oleh penerbit secara eksplisit di landing page Google Berita. 
• Google Read Aloud: Bot ini mengambil dan membacakan halaman web yang menggunakan text-to-speech (TTS) berdasarkan permintaan pengguna. 
• Google Site Verifier: Bot ini mengambil token verifikasi Search Console. 

Perubahan dan penambahan informasi yang dilakukan Google untuk setiap crawler-nya membuat informasi yang dimuat semakin komprehensif. Dengan begitu, Anda dapat memahami bagaimana crawler-crawler tersebut memengaruhi berbagai macam aspek Google, meskipun tidak semuanya memberikan pengaruh langsung.