Google Hapus Crawl Rate Limiter Tool per Januari 2024

Pada 8 Januari 2024, Google resmi menghapus alat pengatur kecepatan crawling (Crawl Rate Limiter Tool) pada Google Search Console. Pengumuman mengenai penghapusan ini telah disampaikan Google pada November 2023, dan kini fitur tersebut telah dinonaktifkan sepenuhnya. Berikut detailnya.

Apa itu Crawl Rate Limiter Tool?

Crawl Rate Limiter Tool adalah fitur yang sebelumnya tersedia di Google Search Console dan berfungsi untuk membatasi kecepatan Googlebot merayapi (crawl) halaman-halaman di situs mereka. 

Sederhananya, pengguna dapat mengatur seberapa sering Googlebot mengunjungi situs mereka untuk mengumpulkan informasi dan mengindeks halaman.

Jika situs Anda memiliki sumber daya terbatas (misalnya, bandwidth atau kapasitas CPU yang rendah), membatasi kecepatan crawling dapat mencegah potensi downtime pada  server. . 

Namun, Google tidak menyarankan untuk terlalu membatasi kecepatan crawling jika tidak terjadi masalah yang serius.

Alasan Penghapusan

Google menjelaskan bahwa penghapusan fitur ini dilakukan karena beberapa alasan, yaitu:

• Perbaikan sistem crawling Google: Google menyatakan bahwa mereka telah melakukan berbagai perbaikan pada sistem crawling mereka, sehingga pengaturan manual dari pemilik situs tidak lagi diperlukan.
• Ketersediaan alat lain: Google juga menyediakan berbagai alat lain yang dapat membantu pemilik situs mengelola crawling.
• Jarang digunakan: Google mencatat bahwa Crawl Rate Limiter Tool jarang digunakan oleh pemilik situs. Hal ini dapat disebabkan oleh efektifitas dari tool ini. Biasanya, alat ini memerlukan beberapa hari untuk menerapkan crawl rate baru setelah perubahan, sehingga pengguna sudah tidak menggunakannya lagi.

Dampak Penghapusan

Penghapusan Crawl Rate Limiter Tool membuat pemilik situs tidak lagi dapat mengatur kecepatan crawling Googlebot secara manual. Namun, Google memastikan bahwa mereka akan tetap menjaga kecepatan crawling yang optimal untuk setiap situs.

Google menjelaskan bahwa mereka akan menggunakan beberapa faktor untuk menentukan kecepatan crawling, seperti:

• Popularitas situs: Situs yang lebih populer akan di-crawl lebih sering.
• Ukuran situs: Situs yang lebih besar akan di-crawl lebih lambat.
• Sumber daya server: Google akan mempertimbangkan sumber daya server situs saat menentukan kecepatan crawling.

Kesimpulan

Penghapusan Crawl Rate Limiter Tool merupakan perubahan yang signifikan pada Google Search Console. Namun, Google memastikan bahwa mereka akan tetap menjaga crawling yang optimal untuk setiap situs. 

Lalu, jika Anda menemukan masalah sehubungan dengan crawling yang terlalu cepat, Anda dapat melaporkannya melalui report form yang telah disediakan oleh Google.