Kami menggunakan cookies

Situs ini menggunakan cookies dari cmlabs untuk memberikan dan meningkatkan kualitas layanannya serta menganalisis lalu lintas..

Dimana Anda dapat melihat hasil karya kami?
Tempat kecil membuat kombinasi, namun persilangan yang terjadi didalamnya tidak memberikan banyak kombinasi. Jadi, berhati-hatilah dalam membuat justifikasi, terutama SEO.

Robots.txt

Terakhir diperbarui: Aug 12, 2022

Apa Itu Robot.txt?

Robots.txt adalah sebuah file yang digunakan oleh crawler mesin telusur pada halaman website anda untuk mengetahui file mana yang boleh dan tidak boleh dikunjungi. Pada kasus tertentu, pengembang website memiliki halaman PUBLIC yang ditujukan untuk pengguna, bukanlah mesin pencari seperti Google, Bing, dan Yahoo.

Tujuan dari file ini adalah sebagai protokol pengecualian robot, yaitu standar de facto di dalam aturan komunikasi dan batas antara situs web dan pengguna BUKAN manusia.

Protokol pengecualian robot atau robotstxt memungkinkan pengembang web untuk menentukan bagian/file/folder mana dari situs web mereka yang dapat di akses atau tidak dapat di akses oleh bot atau crawler.

Cara Kerja Robot.txt

Robot.txt menyediakan instruksi untuk bots. Web crawler akan berusaha merayapi robot.txt terlebih dahulu sebelum merayapi seluruh halaman lainya pada suatu domain. Instrtuksi yang dituliskan pada robot.txt akan dilakukan oleh crawler tersebut seperti no follow, do follow atau instruksi lainnya.

Bot crawler akan mengikuti serangkaian instruksi paling spesifik di file robots.txt. Jika terdapat instruksi yang kontradiktif dalam file, bot akan mengikuti perintah yang lebih detail.

Fungsi Robot.txt

Adapun fungsi dari robot.txt adalah sebagai berikut:

Mengontrol aktivitas crawler/useragent

Salah satu fungsi utama dari robot.txt adalah mengontrol aktivitas crawler pada website. Tanpa menggunakan robot.txt, crawler akan merayapi semua halaman tak terkecuali pada konten duplikat. JIka Anda tidak mengizinkan bot untuk merayapinya, maka Anda harus menambahkan instruksi pada robot.txt

Memblokir Halaman Agar Tidak Muncul di SERP

Ada kalanya Anda tidak menginginkan suau halaman pada website Anda untuk tampil di SERP dikarenakan beberapa hal. Contoh kasus, Anda tidak menargetkan halaman sub kategori produk untuk muncul pada SERP. Oleh karena itu, Anda dapat menginstruksikan crawler untuk tidak menampilkannya.

Contoh kode atau sintaks robots.txt

user-agent: googlebot disallow: /login  user-agent: googlebot-news disallow: /media  user-agent: googlebot-image

Maka berdasarkan contoh sintaks diatas akan dijelaskan demikian:

  • User-agent googlebot tidak boleh melakukan crawl ke folder /login
  • User-agent googlebot-news tidak boleh melakukan crawl ke folder /media
  • User-aagent googlebot-image boleh masuk ke semua folder di dalam website www.cmlabs.co, tanpa batasain apapun.

Contoh dan penerapan URL robots.txt

Pada kasus yang umum, penerapan robots.txt TIDAK VALID untuk subdomain, protokol, dan port. Namun akan VALID untuk semua file di semua sub-directori pada host, protokol, dan port.

Periksa contoh lokasi file robots.txt pada direktori server website:

CONTOH VALID 

http://robots.co/robots.txt http://robots.co/folder/file/robots.txt

cmlabs

CONTOH TIDAK VALID 

http://other.cmlabs.co/robots.txt https://cmlabs.co/robots.txt 
http://cmlabs.co:8181/robots.txt

cmlabs

Catatan

Saat halaman ini diterbitkan (pada 21 Mei 2020), definisi hingga implementasi dari robots.txt hanya berlaku untuk mesin telusur Google. Dengan kata lain, mesin pencari seperti Bing, Yahoo, Yandex, dan lain-lain belum tentu menggunakan standar yang sama.

Meskipun demikian, standarisasi secara global sedang menjadi diskusi komunitas internasional.

Salah paham

File robots.txt tidak tepat jika digunakan untuk menyembunyikan satu file atau halaman dari crawler mesin telusur.

Jawaban yang tepat tentang, apa yang harus dilakukan untuk menyembunyikan file dari Google?; adalah menyematkan noindex tag.

<meta name="robots" content="noindex"> <meta name="googlebot" content="noindex">

cmlabs

RESPONSE HEADER

HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)

cmlabs

Perubahan standar protokol

Pada tanggal 1 Juli, tahun 2019, melalui blog resmi Google mengumumkan bahwa protokol robots.txt sedang disiapkan untuk menjadi standar Internet. Artinya semua mesin pencari akan sepakat dengan ketentuan tersebut.

Robots Exclusion Protocol Draft

Mitra kami yang berharga
Aliansi strategis ini memungkinkan kami untuk menawarkan kepada klien-klien kami berbagai solusi inovatif SEO dan pelayanan yang luar biasa. Pelajari Lanjut
cmlabs

cmlabs

Bagaimana pendapat Anda? Apakah Anda menyukai artikel ini?

Update Terkini
Terakhir diperbarui: Jun 20, 2024
Terakhir diperbarui: Jun 20, 2024
Terakhir diperbarui: Jun 20, 2024

Permudah proses analisis dengan SEO Tools yang terpasang langsung di peramban Anda. Saatnya menjadi ahli SEO sejati.

Gratis di semua peramban berbasis Chromium

Pasang di peramban Anda sekarang? Jelajahi sekarang cmlabs chrome extension pattern cmlabs chrome extension pattern

Butuh bantuan?

Ceritakan tentang kebutuhan SEO Anda, tim marketing kami akan membantu menemukan solusi terbaik.

Berikut daftar tim kami secara resmi dan diakui, hati-hati terhadap penipuan oknum tidak bertanggung jawab yang mengatasnamakan PT cmlabs Indonesia Digital (cmlabs). Baca lebih lanjut
Marketing Teams

Agita

Marketing

Tanya Saya
Marketing Teams

Irsa

Marketing

Tanya Saya
Marketing Teams

Yuliana

Business & Partnership

Tanya Saya
Marketing Teams

Thalia

Business Development Global

Tanya Saya
Marketing Teams

Robby

Business Development ID

Tanya Saya
Marketing Teams

Dwiyan

Partnership

Tanya Saya
Marketing Teams

Rochman

Product & Dev

Tanya Saya
Marketing Teams

Said

Career & Internship

Tanya Saya

Mohon maaf, saat ini tool Mobile Friendly Test tidak dapat diakses karena sedang dalam tahap pemeliharaan sistem sampai pemberitahuan lebih lanjut.

Cek

Tetap up-to-date dengan tool baru kami, cmlabs Surge. Jelajahi tren & event populer!

Cek

Pendapat Anda Berharga! Beri masukan untuk Survei Plagiarism Checker kami?

Cek

Temukan tren bisnis Anda dengan mudah! Kalkulator proyeksi trafik adalah alat yang sempurna untuk membantu Anda memahami permintaan di sektor bisnis Anda. Pilih sektor Anda dan lihat proyeksi trafiknya sekarang!

Cek

Saat ini tidak ada notifikasi...