KAMUS SEO CMLABS

APA ITU ROBOTS.TXT

Definisi robots.txt

Robots.txt adalah sebuah file yang digunakan oleh crawler mesin telusur pada halaman website anda untuk mengetahui file mana yang boleh dan tidak boleh dikunjungi. Pada kasus tertentu, pengembang website memiliki halaman PUBLIC yang ditujukan untuk pengguna, bukanlah mesin pencari seperti Google, Bing, dan Yahoo.

Tujuan dari file ini adalah sebagai protokol pengecualian robot, yaitu standar de facto di dalam aturan komunikasi dan batas antara situs web dan pengguna BUKAN manusia.

Protokol pengecualian robot atau robotstxt memungkinkan pengembang web untuk menentukan bagian/file/folder mana dari situs web mereka yang dapat di akses atau tidak dapat di akses oleh bot atau crawler.

Contoh kode atau sintaks robots.txt

user-agent: googlebot
disallow: /login

user-agent: googlebot-news
disallow: /media

user-agent: googlebot-image

Maka berdasarkan contoh sintaks diatas akan dijelaskan demikian:

  • User-agent googlebot tidak boleh melakukan crawl ke folder /login
  • User-agent googlebot-news tidak boleh melakukan crawl ke folder /media
  • User-aagent googlebot-image boleh masuk ke semua folder di dalam website www.cmlabs.co, tanpa batasain apapun.

Contoh dan penerapan URL robots.txt

Pada kasus yang umum, penerapan robots.txt TIDAK VALID untuk subdomain, protokol, dan port. Namun akan VALID untuk semua file di semua sub-directori pada host, protokol, dan port.

Periksa contoh lokasi file robots.txt pada direktori server website:

CONTOH VALID
http://robots.co/robots.txt
http://robots.co/folder/file/robots.txt
CONTOH TIDAK VALID
http://other.cmlabs.co/robots.txt
https://cmlabs.co/robots.txt
http://cmlabs.co:8181/robots.txt

Catatan

Saat halaman ini diterbitkan (pada 21 Mei 2020), definisi hingga implementasi dari robots.txt hanya berlaku untuk mesin telusur Google. Dengan kata lain, mesin pencari seperti Bing, Yahoo, Yandex, dan lain-lain belum tentu menggunakan standar yang sama.

Meskipun demikian, standarisasi secara global sedang menjadi diskusi komunitas internasional.

Salah paham

File robots.txt tidak tepat jika digunakan untuk menyembunyikan satu file atau halaman dari crawler mesin telusur.

Jawaban yang tepat tentang, apa yang harus dilakukan untuk menyembunyikan file dari Google?; adalah menyematkan noindex tag.

<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">

RESPONSE HEADER

HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)

Perubahan standar protokol

Pada tanggal 1 Juli, tahun 2019, melalui blog resmi Google mengumumkan bahwa protokol robots.txt sedang disiapkan untuk menjadi standar Internet. Artinya semua mesin pencari akan sepakat dengan ketentuan tersebut.

Istilah terkait

User-agent / bot

User-agent adalah robot yang digunakan oleh mesin telusur untuk melakukan crawl ke semua website di internet.

Temukan istilah-istilah penting lainnya di dalam Kamus SEO berikut ini:

ID
EN ID
Enable Notifications.    Ok No thanks