Apa Itu Robot.txt?

Robots.txt adalah sebuah file yang digunakan oleh crawler mesin telusur pada halaman website anda untuk mengetahui file mana yang boleh dan tidak boleh dikunjungi. Pada kasus tertentu, pengembang website memiliki halaman PUBLIC yang ditujukan untuk pengguna, bukanlah mesin pencari seperti Google, Bing, dan Yahoo.

Tujuan dari file ini adalah sebagai protokol pengecualian robot, yaitu standar de facto di dalam aturan komunikasi dan batas antara situs web dan pengguna BUKAN manusia.

Protokol pengecualian robot atau robotstxt memungkinkan pengembang web untuk menentukan bagian/file/folder mana dari situs web mereka yang dapat di akses atau tidak dapat di akses oleh bot atau crawler.

Cara Kerja Robot.txt

Robot.txt menyediakan instruksi untuk bots. Web crawler akan berusaha merayapi robot.txt terlebih dahulu sebelum merayapi seluruh halaman lainya pada suatu domain. Instrtuksi yang dituliskan pada robot.txt akan dilakukan oleh crawler tersebut seperti no follow, do follow atau instruksi lainnya.

Bot crawler akan mengikuti serangkaian instruksi paling spesifik di file robots.txt. Jika terdapat instruksi yang kontradiktif dalam file, bot akan mengikuti perintah yang lebih detail.

Fungsi Robot.txt

Adapun fungsi dari robot.txt adalah sebagai berikut:

Mengontrol aktivitas crawler/useragent

Salah satu fungsi utama dari robot.txt adalah mengontrol aktivitas crawler pada website. Tanpa menggunakan robot.txt, crawler akan merayapi semua halaman tak terkecuali pada konten duplikat. JIka Anda tidak mengizinkan bot untuk merayapinya, maka Anda harus menambahkan instruksi pada robot.txt

Memblokir Halaman Agar Tidak Muncul di SERP

Ada kalanya Anda tidak menginginkan suau halaman pada website Anda untuk tampil di SERP dikarenakan beberapa hal. Contoh kasus, Anda tidak menargetkan halaman sub kategori produk untuk muncul pada SERP. Oleh karena itu, Anda dapat menginstruksikan crawler untuk tidak menampilkannya.

Contoh kode atau sintaks robots.txt

user-agent: googlebot disallow: /login  user-agent: googlebot-news disallow: /media  user-agent: googlebot-image

Maka berdasarkan contoh sintaks diatas akan dijelaskan demikian:

• User-agent googlebot tidak boleh melakukan crawl ke folder /login
• User-agent googlebot-news tidak boleh melakukan crawl ke folder /media
• User-aagent googlebot-image boleh masuk ke semua folder di dalam website www.cmlabs.co, tanpa batasain apapun.

Contoh dan penerapan URL robots.txt

Pada kasus yang umum, penerapan robots.txt TIDAK VALID untuk subdomain, protokol, dan port. Namun akan VALID untuk semua file di semua sub-directori pada host, protokol, dan port.

Periksa contoh lokasi file robots.txt pada direktori server website:

CONTOH VALID 

CONTOH TIDAK VALID 

Catatan

Saat halaman ini diterbitkan (pada 21 Mei 2020), definisi hingga implementasi dari robots.txt hanya berlaku untuk mesin telusur Google. Dengan kata lain, mesin pencari seperti Bing, Yahoo, Yandex, dan lain-lain belum tentu menggunakan standar yang sama.

Meskipun demikian, standarisasi secara global sedang menjadi diskusi komunitas internasional.

Salah paham

File robots.txt tidak tepat jika digunakan untuk menyembunyikan satu file atau halaman dari crawler mesin telusur.

Jawaban yang tepat tentang, apa yang harus dilakukan untuk menyembunyikan file dari Google?; adalah menyematkan noindex tag.

RESPONSE HEADER

Perubahan standar protokol

Pada tanggal 1 Juli, tahun 2019, melalui blog resmi Google mengumumkan bahwa protokol robots.txt sedang disiapkan untuk menjadi standar Internet. Artinya semua mesin pencari akan sepakat dengan ketentuan tersebut.

Robots Exclusion Protocol Draft