KAMUS SEO CMLABS

APA ITU CRAWL

CMLABS / Kamus SEO / Apa Itu Crawl?

Definisi Crawl

Crawl (atau spidering) adalah proses pendeteksian dimana mesin pencarian mengirimkan robot (dikenal dengan crawler atau spider) untuk menemukan konten baru di halaman web lainnya. Konten tersebut dapat bervariasi, bisa berupa laman web, gambar, video, PDF, dan lain-lain. Terdapat beberapa alasan mengapa melakukan crawl di laman website, yaitu :

  • Memiliki XML Sitemap dengan URL yang diajukan dan dikrimkan ke Google
  • Memiliki link atau tautan internal yang merujuk ke situs
  • Memilki link atau tautan eksternal yang merujuk ke situs
  • Mendapatkan lonjakan traffic pada situs web

Untuk memastikan bahwa telah melakukan crawl di halaman web, pengguna harus memiliki sitemap XML yang diunggah di Google Search Console untuk memberikan roadmap pada google untuk semua konten baru.

Faktor – Faktor Yang Mempengaruhi Crawl:

1. Backlink

Semakin banyak memiliki backlink, semakin dapat dipercaya dan mendapatkan reputasi baik dari mesin pencarian. Jika telah memiliki peringkat tinggi namun tidak menggunakan backlink di halaman, mesin pencarian akan menganggapnya sebagai halaman dengan kualitas konten yang rendah.

2. Internal Link

Banyak orang menyarankan untuk menggunakan anchor text yang sama pada artikel yang sama akan membantu untuk melakukan pengindexan pada website lebih dalam.

3. XML Sitemap

Ketika menggunakan wordpress, pengguna disarankan untuk menggunakan XML sitemap. Dengan ini akan memberitahu google bahwa situs telah di update dan ingin melakukan crawl pada situs.

4. Duplicate Content

Semakin banyak paragraf dan konten yang sama hanya akan membuat google melakukan banned pada situs. Memperbaiki semua kode 301 dan 404 pada situs membuat aktivitas crawl dan SEO menjadi lebih baik.

5. Judul URL

Membuat judul URL yang ramah merupakan langkah besar yang tepat untuk SEO

6. Meta Tag

Membuat meta tags unik pada situs website dapat menaikkan peringkat pada mesin pencarian dan memungkinkan melakukan crawl pada halaman.

7. Pinging

Menambahkan ping utama di situs wordpress akan membuat melakukan crawl dan pengindeksan menjadi lebih cepat dan akurat di halaman web.

Cara Mengoptimalkan Crawl Untuk SEO

1. Izinkan Halaman Penting Untuk Di Crawl Di Robots.Txt

Menggunakan robot.txt pada halaman website menjadikan lebih mudah dan efektif ketika melakukan crawl. Cukup tambahkan robot.txt ke tools pilihan akan memungkinkan untuk mengizinkan atau memblokir crawl dari halaman mana pun dari domain dalam hitungan detik.

2. Hati – Hati dengan Redirect Code

Idealnya, sangat memungkinkan untuk menghindari redirect chain di seluruh domain. Tetapi kode tersebut selalu dikemas Bersama sehingga membuat batas untuk melakukan crawl karena tidak sampai ke halaman yang di inginkan untuk di indeks.

3. Jangan biarkan kesalahan HTTP Mempengaruhi Crawl

Secara teknis, 404 dan 410 page sangat mengganggu ketika membuka halaman web. Dengan memperbaiki kode status 4xx dan 5xx membuat crawl lebih mudah dan slaing menguntungkan.

4. Gunakan HTML

Saat ini crawler menjadi lebih baik dalam melakukan crawl di JavaScript. Disisi lain masih terdapat mesin pencarian lain yang belum menggunakan JavaScript. Karena itu sebisa mungkin tetap menggunakan HTML  dalam melakukan crawl.

5. Merawat Parameter URL

URL yang terpisah dihitung oleh crawler sebagai laman terpisah. Dengan memberi tahu google tentang parameter URL ini membuat crawl menjadi lebih efektif serta menghindari kekhawatiran duplikat pada konten.

6. Perbarui Sitemap

Dengan memperbarui sitemap membuat bot memahami lebih cepat dan mudah kemana tautan internal merujuk. Pastikan juga telah mengunggah versi terbaru dari robot.txt

7. Gunakan Tag Hreflang

Proses crawling menggunakan tag hreflang untuk menganalisis halaman lokal dan biasanya tag tersebut berada di header halaman website dan “lang_code” adalah kode untuk bahasa yang didukung.

Istilah terkait

Robot.txt

Robots.txt adalah file yang digunakan oleh crawler pada halaman website untuk mengetahui file mana yang boleh dan tidak boleh dikunjungi.

XML Sitemap

XML Sitemap adalah file yang menyediakan infromasi secara detail di seluruh halaman website pemilik kepada mesin pencari.

URL

URL merupakan singkatan dari Uniform Resource Locator yang berfungsi sebagai referensi ke resource web.

Temukan istilah-istilah penting lainnya di dalam Kamus SEO berikut ini:

ID
EN ID
Enable Notifications.    Ok No thanks