APA ITU CRAWL

Crawl (atau spidering) adalah proses pendeteksian dimana mesin pencarian mengirimkan robot (dikenal dengan crawler atau spider) untuk menemukan konten baru di halaman web lainnya. Konten tersebut dapat bervariasi, bisa berupa laman web, gambar, video, PDF, dan lain-lain. Terdapat beberapa alasan mengapa melakukan crawl di laman website, yaitu :

• Memiliki XML Sitemap dengan URL yang diajukan dan dikrimkan ke Google
• Memiliki link atau tautan internal yang merujuk ke situs
• Memilki link atau tautan eksternal yang merujuk ke situs
• Mendapatkan lonjakan traffic pada situs web

Untuk memastikan bahwa telah melakukan crawl di halaman web, pengguna harus memiliki sitemap XML yang diunggah di Google Search Console untuk memberikan roadmap pada google untuk semua konten baru.

Semakin banyak memiliki backlink, semakin dapat dipercaya dan mendapatkan reputasi baik dari mesin pencarian. Jika telah memiliki peringkat tinggi namun tidak menggunakan backlink di halaman, mesin pencarian akan menganggapnya sebagai halaman dengan kualitas konten yang rendah.

Banyak orang menyarankan untuk menggunakan anchor text yang sama pada artikel yang sama akan membantu untuk melakukan pengindexan pada website lebih dalam.

Ketika menggunakan wordpress, pengguna disarankan untuk menggunakan XML sitemap. Dengan ini akan memberitahu google bahwa situs telah di update dan ingin melakukan crawl pada situs.

Semakin banyak paragraf dan konten yang sama hanya akan membuat google melakukan banned pada situs. Memperbaiki semua kode 301 dan 404 pada situs membuat aktivitas crawl dan SEO menjadi lebih baik.

Membuat judul URL yang ramah merupakan langkah besar yang tepat untuk SEO

Membuat meta tags unik pada situs website dapat menaikkan peringkat pada mesin pencarian dan memungkinkan melakukan crawl pada halaman.

Menambahkan ping utama di situs wordpress akan membuat melakukan crawl dan pengindeksan menjadi lebih cepat dan akurat di halaman web.

Menggunakan robot.txt pada halaman website menjadikan lebih mudah dan efektif ketika melakukan crawl. Cukup tambahkan robot.txt ke tools pilihan akan memungkinkan untuk mengizinkan atau memblokir crawl dari halaman mana pun dari domain dalam hitungan detik.

Idealnya, sangat memungkinkan untuk menghindari redirect chain di seluruh domain. Tetapi kode tersebut selalu dikemas Bersama sehingga membuat batas untuk melakukan crawl karena tidak sampai ke halaman yang di inginkan untuk di indeks.

Secara teknis, 404 dan 410 page sangat mengganggu ketika membuka halaman web. Dengan memperbaiki kode status 4xx dan 5xx membuat crawl lebih mudah dan slaing menguntungkan.

Saat ini crawler menjadi lebih baik dalam melakukan crawl di JavaScript. Disisi lain masih terdapat mesin pencarian lain yang belum menggunakan JavaScript. Karena itu sebisa mungkin tetap menggunakan HTML  dalam melakukan crawl.

URL yang terpisah dihitung oleh crawler sebagai laman terpisah. Dengan memberi tahu google tentang parameter URL ini membuat crawl menjadi lebih efektif serta menghindari kekhawatiran duplikat pada konten.

Dengan memperbarui sitemap membuat bot memahami lebih cepat dan mudah kemana tautan internal merujuk. Pastikan juga telah mengunggah versi terbaru dari robot.txt

Proses crawling menggunakan tag hreflang untuk menganalisis halaman lokal dan biasanya tag tersebut berada di header halaman website dan “lang_code” adalah kode untuk bahasa yang didukung.