Ubah cara anda menerima wawasan melalui tool dan analytics
Mempelajari risiko yang sedang berlangsung dalam keyword
Pemantauan dan prioritas khusus market/niche
Deteksi dini anomali SERP Google
Beranda Kamus SEO Web Crawler
Ditulis oleh cmlabs
|

Web Crawler

Terakhir diperbarui: Mar 27, 2021
Disclaimer: Tim kami terus menyusun dan menambahkan istilah baru yang bersumber dari komunitas SEO dan terminologi resmi Google. Anda mungkin saja mengunjungi laman SEO Terms di cmlabs.co melalui pihak ketiga atau tautan website asing. Kami tidak bertanggung jawab atas keakuratan atau keandalan informasi apa pun yang ditawarkan oleh situs web pihak ketiga.

Ditulis oleh cmlabs

Web crawler berfungsi untuk men-download dan mengindeks konten dari seluruh Internet. Tujuan dari bot semacam itu adalah untuk mempelajari tentang setiap halaman di web, sehingga informasi tersebut dapat dimunculkan di SERP saat ada yang mencari. Crawler disebut juga spider atau bot mesin pencari

Disebut “web crawler” karena “crawl/merayap” adalah istilah teknis untuk mengakses situs web dan memperoleh data melalui program software secara otomatis .

Cara Kerja Crawler

Bot crawler web mulai mengindex dari seed, atau daftar URL yang dikenal. Mereka “merayapi” halaman web di URL tersebut terlebih dahulu. Saat bot merayapi halaman web tersebut, ia akan menemukan hyperlink ke URL lain, dan akan ditambahkan ke daftar halaman yang akan dijelajahi selanjutnya.

Daftar Web Crawler yang active di Internet

Bot crawler dari beberapa search engine terkemuka yaitu:

  • Google: Googlebot (sebenarnya dua crawler, Googlebot Desktop dan Googlebot Mobile, untuk pencarian desktop dan seluler)
  • Bing: Bingbot
  • Yandex (search engine Rusia): Yandex Bot
  • Baidu (search engine Cina): Baidu Spider

Selain itu ada juga banyak bot web crawler yang kurang umum, beberapa di antaranya tidak terkait dengan mesin pencari mana pun.

Pengaruh Web Crawler pada SEO

SEO adalah singkatan dari search engine optimization, dan merupakan strategi untuk menyiapkan konten untuk pengindeksan mesin pencari sehingga situs web bisa muncul di halaman utama dalam SERP.

Jika spider bots tidak merayapi situs web, maka situs web atau laman konten tersebut tidak dapat diindeks, dan tentu juga tidak akan muncul di hasil pencarian. Oleh karena itu, jika pemilik situs web ingin mendapatkan traffic organik dari hasil pencarian, mereka sebaiknya tidak memblokir bot ini.

Definisi di dalam kamus SEO mungkin tidak tepat dan harus disesuaikan. Jadi jangan ragu untuk menghubungi kami melalui email di hello@cmlabs.co. Demi memberikan kualitas dan relevansi konten yang lebih baik, kami ucapkan terima kasih atas kontribusi saran dan masukannya.
Bagikan




Disalin ke Clipboard !