Mengatur Interaksi Googlebot di Bagian Halaman Website

Googlebot adalah bot yang digunakan oleh mesin pencari Google untuk menjelajahi dan mengindeks konten di seluruh web. Dengan memahami cara Googlebot berinteraksi dengan bagian halaman website, kita dapat memastikan bahwa konten kita terlihat dan diindeks dengan baik oleh mesin pencari. 

Google memiliki crawler umum dengan fungsi masing-masing. Contoh dari agent Google untuk merayapi halaman adalah Googlebot Smartphone, Googlebot Desktop, Googlebot image, Googlebot news, dan masih banyak lagi. 

Pemilik website dapat mengatur interaksi Googlebot dalam website mereka dengan beberapa cara. Berikut adalah kontrol yang dapat dilakukan oleh website owner.

 

1. Mengurangi Kecepatan Crawling

Mendapati halaman dirayapi dengan baik adalah bagian dari SEO. Namun, jika pada website yang besar atau memiliki trafik tinggi, Anda mungkin ingin mengurangi laju crawling untuk mencegah Googlebot membebani server. Ada dua cara untuk mengurangi laju crawling atau crawling rate:

• Gunakan Search Console: Anda dapat mengaturnya melalui halaman Crawler Rate Setting di Search Console untuk menetapkan batas maksimum laju crawling pada situs web. Pengaturan ini akan berlaku dalam beberapa hari setelah diatur.
• Atur halaman error: Jika Anda perlu mengurangi laju crawling dengan segera, Anda dapat mengembalikan halaman error dengan kode status 500, 503, atau 429. Googlebot akan mengurangi laju crawling situs ketika menemui sejumlah besar kesalahan tersebut.

 

Penting untuk dicatat bahwa mengurangi laju crawling dapat memiliki beberapa konsekuensi negatif, seperti:

• Halaman-halaman baru mungkin membutuhkan waktu lebih lama untuk diindeks.
• Halaman-halaman yang sudah ada mungkin tidak diperbarui secara teratur dalam hasil pencarian.
• Halaman-halaman yang dihapus mungkin tetap ada dalam indeks untuk waktu yang lebih lama.

 

Oleh karena itu, Anda hanya perlu mengurangi laju crawling jika diperlukan untuk menjaga server atau meningkatkan performa situs web.

 

2. Memblokir Googlebot untuk Merayapi Bagian Tertentu Halaman 

Googlebot adalah web crawler Google yang bertanggung jawab untuk mengindeks situs web agar dapat muncul dalam hasil pencarian. Namun, ada kalanya web owner ingin membatasi interaksi Googlebot dengan situs web mereka. Misalnya, membatasi Googlebot untuk mengindeks halaman atau direktori tertentu.

Tapi, apakah kita bisa membatasi Googlebot untuk merayapi bagian tertentu dari sebuah halaman? John Mueller dan Garry Illyes menjawab pertanyaan ini melalui podcast Search of The Records. Mueller mengatakan bahwa membatasi Googlebot untuk merayapi bagian tertentu dari halaman tidak mungkin untuk dilakukan.

Namun, terdapat cara alternatif yang dapat dilakukan web owner dalam hal ini, Meskipun begitu, praktiknya tidak disarankan karena dapat menimbulkan masalah crawling dan indexing. Berikut adalah 3 cara membatasi interaksi Googlebot pada bagian halaman tertentu:

 

1. Menggunakan Data non-snippet HTML

Strategi pertama yang disebutkan oleh Mueller adalah menggunakan atribut HTML "data-nosnippet". Atribut ini dapat ditambahkan ke elemen HTML tertentu di halaman web untuk menginstruksikan mesin pencari agar tidak menampilkan teks terkait dalam cuplikan hasil pencarian. 

Cuplikan hasil pencarian adalah deskripsi singkat yang muncul di bawah judul hasil pencarian pada halaman hasil mesin pencari (SERP). Dengan menggunakan atribut "data-nosnippet", pemilik situs web dapat mengendalikan bagian mana dari kontennya yang ditampilkan dalam cuplikan hasil pencarian. 

Sebagai contoh, berikut adalah penggunaan data-nosnippet yang dapat diterapkan:

 

Pendekatan ini dapat berfungsi jika terdapat informasi sensitif atau jika pemilik situs web ingin memberikan pengalaman pengguna yang berbeda dalam hasil pencarian. Namun, penting untuk dicatat bahwa strategi ini tidak bisa dianggap sebagai solusi ideal karena ada batasan atau masalah potensial berhubungan dengan penggunaan atribut ini.

 

2. Menggunakan Iframe

Strategi kedua yang disarankan adalah penggunaan iframe atau JavaScript dengan sumber yang diblokir oleh robots.txt. Iframe adalah elemen HTML yang digunakan untuk menyisipkan dokumen lain dalam dokumen HTML saat ini, sedangkan JavaScript adalah bahasa pemrograman yang umum digunakan untuk meningkatkan interaktivitas pada halaman web. 

Dengan memblokir sumber file iframe atau JavaScript dalam file "robots.txt" situs web, pemilik situs web dapat mencegah mesin pencari untuk mengakses dan mengindeks konten spesifik tersebut. Namun, Mueller memperingatkan untuk tidak menggunakan strategi ini. 

Mereka memperingatkan bahwa penggunaan file iframe atau JavaScript dapat menyebabkan masalah selama proses crawling dan pengindeksan. Masalah-masalah ini dapat sulit didiagnosis dan diselesaikan, sehingga menghambat visibilitas keseluruhan situs web dalam hasil pencarian.

 

3. Memblokir Googlebot Sesuai Guideline

Website owner tentunya dapat membatasi akses Googlebot dalam merayapi halaman secara keseluruhan dengan menggunakan robot.txt. Berikut adalah contoh membuat file robots.txt untuk memblokir Googlebot melakukan crawling:

1. Buka editor teks atau aplikasi pengedit HTML yang Anda gunakan.
2. Buat file teks baru dan beri nama "robots.txt".
3. Buka file "robots.txt" dengan editor teks dan tambahkan aturan berikut:

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://www.contoh.com/sitemap.xml

 

4. Simpan file "robots.txt".

5. Unggah file "robots.txt" ke direktori root situs web. Biasanya, direktori root adalah direktori utama situs web di server.

6. Periksa apakah file "robots.txt" dapat diakses dengan membuka URL berikut di browser: http://www.contoh.com/robots.txt

 

Secara keseluruhan, Mueller dan Illyes menawarkan dua strategi potensial untuk membatasi interaksi Googlebot di bagian tertentu halaman. Strategi pertama melibatkan penggunaan atribut HTML "data-nosnippet" untuk mengendalikan konten cuplikan hasil pencarian, sedangkan strategi kedua melibatkan penggunaan iframe atau JavaScript dengan sumber yang diblokir. 

Namun, mereka menekankan bahwa kedua strategi ini tidak ideal karena adanya batasan potensial, kompromi, atau komplikasi yang mungkin ditimbulkan. Oleh karena itu, penting untuk mengikuti cara yang disarankan oleh guideline Google.

Tak hanya di Google, pemilik website juga dapat mengendalikan kecepatan crawling untuk agent Bingbot.  Anda dapat memberitahu Bingbot untuk mengcrawl situs dengan lebih cepat atau lebih lambat dari laju crawl normal.