Google Rilis Laporan Robot.txt dalam Google Search Console

Google baru-baru ini memperkenalkan laporan robot.txt dalam Google Search Console, menggantikan Robot.txt Tester yang sebelumnya telah ada. Pembaruan laporan ini memungkinkan pemilik situs dan developer untuk mengelola file robot.txt mereka. Apa saja informasi yang dapat dimunculkan dalam laporan ini? Berikut pembahasannya.
 

Laporan Robot.txt dalam Google Search Console

Laporan robot.txt terbaru ini tidak hanya menyediakan informasi dasar tentang file robot.txt yang dapat ditemukan, tetapi juga memberikan wawasan mendalam tentang interaksi crawler dengan file tersebut.

Untuk mengaksesnya, laporan ini terdapat pada menu Setting, lalu buka laporan detail pada kolom robot.txt. Berikut adalah tampilan dalam laporan robot.txt yang baru.
 

Informasi yang Dilaporkan

Google menjelaskan bahwa pada laporan ini, pengguna dapat mengakses berbagai informasi mengenai robot.txt seperti:

• File robot.txt mana yang ditemukan oleh Google untuk 20 host teratas di situs Anda. Dengan kata lain, laporan ini memberikan gambaran tentang bagaimana Google berinteraksi dengan file robot.txt yang ada di 20 host utama situs.
• Pengguna sekarang dapat melihat kapan terakhir kali crawler Google mengunjungi file robot.txt mereka.
• Melacak setiap peringatan atau isu yang mungkin ditemukan selama proses crawling file robot.

Selain informasi di atas, terdapat satu fitur penting dari laporan ini yaitu kemampuan untuk melakukan "recrawl" pada file robot.txt. Jika pengguna menemukan masalah atau perlu melakukan pembaruan cepat pada file tersebut, mereka dapat dengan mudah mengirimkan permintaan recrawl melalui antarmuka yang disediakan. 
 

Hal ini memungkinkan pemilik situs untuk mengelola dan menyelaraskan informasi robot.txt mereka dengan lebih efektif. Namun, Google menjelaskan bahwa sebenarnya request recrawl tidak perlu dilakukan karena crawler secara reguler akan mengunjungi file robot.txt yang telah diperbarui.

Berikut adalah beberapa kondisi yang mungkin membutuhkan request recrawl pada file robot.txt:

• Jika pengguna telah mengubah aturan robot.txt untuk membuka blokir beberapa URL penting dan ingin memberi tahu Google dengan cepat.
• Jika pengguna berhasil memperbaiki kesalahan pengambilan (fetch error) atau kesalahan kritis lainnya. Sehingga,  mereka ingin memberi tahu Google agar dapat mengambil tindakan lebih lanjut.