Definisi Crawl
⇢
Crawl (atau spidering) adalah proses pendeteksian dimana mesin pencarian mengirimkan robot (dikenal dengan crawler atau spider) untuk menemukan konten baru di halaman web lainnya. Konten tersebut dapat bervariasi, bisa berupa laman web, gambar, video, PDF, dan lain-lain. Terdapat beberapa alasan mengapa melakukan crawl di laman website, yaitu :
- Memiliki XML Sitemap dengan URL yang diajukan dan dikrimkan ke Google
- Memiliki link atau tautan internal yang merujuk ke situs
- Memilki link atau tautan eksternal yang merujuk ke situs
- Mendapatkan lonjakan traffic pada situs web
Untuk memastikan bahwa telah melakukan crawl di halaman web, pengguna harus memiliki sitemap XML yang diunggah di Google Search Console untuk memberikan roadmap pada google untuk semua konten baru.
Faktor – Faktor Yang Mempengaruhi Crawl:
⇢
1. Backlink
Semakin banyak memiliki backlink, semakin dapat dipercaya dan mendapatkan reputasi baik dari mesin pencarian. Jika telah memiliki peringkat tinggi namun tidak menggunakan backlink di halaman, mesin pencarian akan menganggapnya sebagai halaman dengan kualitas konten yang rendah.
2. Internal Link
Banyak orang menyarankan untuk menggunakan anchor text yang sama pada artikel yang sama akan membantu untuk melakukan pengindexan pada website lebih dalam.
3. XML Sitemap
Ketika menggunakan wordpress, pengguna disarankan untuk menggunakan XML sitemap. Dengan ini akan memberitahu google bahwa situs telah di update dan ingin melakukan crawl pada situs.
4. Duplicate Content
Semakin banyak paragraf dan konten yang sama hanya akan membuat google melakukan banned pada situs. Memperbaiki semua kode 301 dan 404 pada situs membuat aktivitas crawl dan SEO menjadi lebih baik.
5. Judul URL
Membuat judul URL yang ramah merupakan langkah besar yang tepat untuk SEO
6. Meta Tag
Membuat meta tags unik pada situs website dapat menaikkan peringkat pada mesin pencarian dan memungkinkan melakukan crawl pada halaman.
7. Pinging
Menambahkan ping utama di situs wordpress akan membuat melakukan crawl dan pengindeksan menjadi lebih cepat dan akurat di halaman web.
Cara Mengoptimalkan Crawl Untuk SEO
⇢
1. Izinkan Halaman Penting Untuk Di Crawl Di Robots.Txt
Menggunakan robot.txt pada halaman website menjadikan lebih mudah dan efektif ketika melakukan crawl. Cukup tambahkan robot.txt ke tools pilihan akan memungkinkan untuk mengizinkan atau memblokir crawl dari halaman mana pun dari domain dalam hitungan detik.
2. Hati – Hati dengan Redirect Code
Idealnya, sangat memungkinkan untuk menghindari redirect chain di seluruh domain. Tetapi kode tersebut selalu dikemas Bersama sehingga membuat batas untuk melakukan crawl karena tidak sampai ke halaman yang di inginkan untuk di indeks.
3. Jangan biarkan kesalahan HTTP Mempengaruhi Crawl
Secara teknis, 404 dan 410 page sangat mengganggu ketika membuka halaman web. Dengan memperbaiki kode status 4xx dan 5xx membuat crawl lebih mudah dan slaing menguntungkan.
4. Gunakan HTML
Saat ini crawler menjadi lebih baik dalam melakukan crawl di JavaScript. Disisi lain masih terdapat mesin pencarian lain yang belum menggunakan JavaScript. Karena itu sebisa mungkin tetap menggunakan HTML dalam melakukan crawl.
5. Merawat Parameter URL
URL yang terpisah dihitung oleh crawler sebagai laman terpisah. Dengan memberi tahu google tentang parameter URL ini membuat crawl menjadi lebih efektif serta menghindari kekhawatiran duplikat pada konten.
6. Perbarui Sitemap
Dengan memperbarui sitemap membuat bot memahami lebih cepat dan mudah kemana tautan internal merujuk. Pastikan juga telah mengunggah versi terbaru dari robot.txt
7. Gunakan Tag Hreflang
Proses crawling menggunakan tag hreflang untuk menganalisis halaman lokal dan biasanya tag tersebut berada di header halaman website dan “lang_code” adalah kode untuk bahasa yang didukung.
Istilah terkait
Robot.txt
Robots.txt adalah file yang digunakan oleh crawler pada halaman website untuk mengetahui file mana yang boleh dan tidak boleh dikunjungi.
XML Sitemap
XML Sitemap adalah file yang menyediakan infromasi secara detail di seluruh halaman website pemilik kepada mesin pencari.
URL
URL merupakan singkatan dari Uniform Resource Locator yang berfungsi sebagai referensi ke resource web.
Temukan istilah-istilah penting lainnya di dalam Kamus SEO berikut ini: