HUKUM DAN KEPATUHAN

cmlabs Robots.txt Checker: SEO Tool Baru untuk Memeriksa Validitas File Robots.txt

Written by: CMLABS|Last updated: 23 Maret 2021

cmlabs baru saja menambahkan SEO Tool baru yaitu Robots.txt Checker. Tool ini sangat berguna untuk webmaster dalam memeriksa validitas dari file robots.txt yang digunakan dalam sebuah website.

Dalam tool ini, pengguna akan diminta untuk memasukkan alamat URL situs web yang akan diuji validitasnya dari file robots.txt. Untuk memulai proses pengecekan, pengguna harus memilih opsi bot yang digunakan dalam pengujian.

Pengguna juga dapat melihat list resource URL dari website yang diuji dengan menekan tombol cek sumber.

Gambar 1. Proses input alamat URL website pada Robots.txt Checker

Jika kolom form telah terisi, maka langkah selanjutnya adalah menekan tombol “Cek URL” pada bagian kanan atas untuk mendapatkan hasil pengujian. Setelah prosesnya selesai, pengguna akan memperoleh hasil berupa laporan seperti di bawah ini:

Gambar 2. Contoh hasil pengujian robots.txt pada sebuah website

Di dalam laporan hasil ini, pengguna akan memperoleh beberapa data seperti apakah pada alamat URL tersebut terdapat file robots.txt yang telah didefinisikan, hingga detail berupa isi dari file robots.txt yang telah didefinisikan pada situs website yang diuji.

Pengguna juga dapat melihat daftar halaman atau sumber dari URL situs web yang diuji dengan hasil sebagai berikut.

Gambar 3. Contoh hasil sumber URL sebuah website

Silakan coba dan pelajari tool ini secara langsung pada laman cmlabs SEO Tools kami melalui alamat URL di bawah: 

https://tools.cmlabs.co/id/robotstxt-checker 

Jika Anda memiliki pertanyaan seputar tool ini, silakan kirimkan email pada kami melalui business@cmlabs.co.