Ubah cara anda menerima wawasan melalui tool dan analytics
Mempelajari risiko yang sedang berlangsung dalam keyword
Pemantauan dan prioritas khusus market/niche
Deteksi dini anomali SERP Google
Beranda Kamus SEO Robots.txt
Ditulis oleh cmlabs
|

Robots.txt

Terakhir diperbarui: Mar 27, 2021
Disclaimer: Tim kami terus menyusun dan menambahkan istilah baru yang bersumber dari komunitas SEO dan terminologi resmi Google. Anda mungkin saja mengunjungi laman SEO Terms di cmlabs.co melalui pihak ketiga atau tautan website asing. Kami tidak bertanggung jawab atas keakuratan atau keandalan informasi apa pun yang ditawarkan oleh situs web pihak ketiga.

Ditulis oleh cmlabs

Robots.txt adalah sebuah file yang digunakan oleh crawler mesin telusur pada halaman website anda untuk mengetahui file mana yang boleh dan tidak boleh dikunjungi. Pada kasus tertentu, pengembang website memiliki halaman PUBLIC yang ditujukan untuk pengguna, bukanlah mesin pencari seperti Google, Bing, dan Yahoo.

Tujuan dari file ini adalah sebagai protokol pengecualian robot, yaitu standar de facto di dalam aturan komunikasi dan batas antara situs web dan pengguna BUKAN manusia.

Protokol pengecualian robot atau robotstxt memungkinkan pengembang web untuk menentukan bagian/file/folder mana dari situs web mereka yang dapat di akses atau tidak dapat di akses oleh bot atau crawler.

Contoh kode atau sintaks robots.txt

user-agent: googlebot disallow: /login  user-agent: googlebot-news disallow: /media  user-agent: googlebot-image

Maka berdasarkan contoh sintaks diatas akan dijelaskan demikian:

  • User-agent googlebot tidak boleh melakukan crawl ke folder /login
  • User-agent googlebot-news tidak boleh melakukan crawl ke folder /media
  • User-aagent googlebot-image boleh masuk ke semua folder di dalam website www.cmlabs.co, tanpa batasain apapun.

Contoh dan penerapan URL robots.txt

Pada kasus yang umum, penerapan robots.txt TIDAK VALID untuk subdomain, protokol, dan port. Namun akan VALID untuk semua file di semua sub-directori pada host, protokol, dan port.

Periksa contoh lokasi file robots.txt pada direktori server website:

CONTOH VALID http://robots.co/robots.txt http://robots.co/folder/file/robots.txt

CONTOH TIDAK VALID http://other.cmlabs.co/robots.txt https://cmlabs.co/robots.txt http://cmlabs.co:8181/robots.txt

Catatan

Saat halaman ini diterbitkan (pada 21 Mei 2020), definisi hingga implementasi dari robots.txt hanya berlaku untuk mesin telusur Google. Dengan kata lain, mesin pencari seperti Bing, Yahoo, Yandex, dan lain-lain belum tentu menggunakan standar yang sama.

Meskipun demikian, standarisasi secara global sedang menjadi diskusi komunitas internasional.

Salah paham

File robots.txt tidak tepat jika digunakan untuk menyembunyikan satu file atau halaman dari crawler mesin telusur.

Jawaban yang tepat tentang, apa yang harus dilakukan untuk menyembunyikan file dari Google?; adalah menyematkan noindex tag.

<meta name="robots" content="noindex"> <meta name="googlebot" content="noindex">

cmlabs

RESPONSE HEADER

HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)

cmlabs

Perubahan standar protokol

Pada tanggal 1 Juli, tahun 2019, melalui blog resmi Google mengumumkan bahwa protokol robots.txt sedang disiapkan untuk menjadi standar Internet. Artinya semua mesin pencari akan sepakat dengan ketentuan tersebut.

Robots Exclusion Protocol Draft

Definisi di dalam kamus SEO mungkin tidak tepat dan harus disesuaikan. Jadi jangan ragu untuk menghubungi kami melalui email di hello@cmlabs.co. Demi memberikan kualitas dan relevansi konten yang lebih baik, kami ucapkan terima kasih atas kontribusi saran dan masukannya.
Bagikan




Disalin ke Clipboard !