Cara Mengatasi Crawl Error Secara Efektif

Dalam mengembangkan website, Anda harus memastikan bahwa semua halaman telah berhasil dirayapi atau crawl oleh Google maupun search engine lain. Hal ini adalah proses pertama yang membuat website Anda dapat masuk pada SERP.

Tidak jarang, crawl error terjadi saat Anda menambahkan halaman baru. Oleh karena itu, Anda harus mengetahui cara mengatasi crawl error secara efektif agar tidak menghambat proses crawling dan indexing oleh search engine.

Dalam panduan ini, kami akan menjelaskan secara mendalam cara mengatasi crawl error untuk menunjang implementasi SEO pada website Anda. Berikut informasinya.

Apa Itu Crawl Error?

Sebelum mengetahui cara mengatasi crawl error, ada baiknya Anda mengenal apa itu crawl error terlebih dahulu. Masalah dalam crawling terjadi apabila search engine tidak bisa membuka setiap halaman di website Anda.

Dalam proses crawling atau perayapan, bot search engine menemukan link di website Anda dan mulai menelusuri setiap halaman yang ada. Bot akan merayap halaman dan melakukan indexing pada semua konten yang akan digunakan atau ditampilkan di SERP.

Crawl error terjadi jika search engine tidak bisa mengakses halaman website ketika proses crawling. Apabila hal ini terjadi, maka search engine tidak bisa membaca dan melakukan indexing konten sehingga kesempatan untuk menempatkan halaman di posisi atas SERP menjadi kecil.

Untuk mengetahui isu pada proses crawling, Anda perlu melakukan pengecekan dengan menggunakan Google Search Console. Dengan GSC, Anda dapat melihat laporan mengenai statistik sumber crawl website, jumlah impresi dan klik, dan posisi rata-rata halaman pada proses pencarian di search engine.

Dalam laporan yang ditampilkan GSC, dapat ditemukan catatan isu pada proses crawling. Biasanya terdapat penjelasan singkat untuk webmaster, termasuk alasan mengapa masalah tersebut muncul dan bagaimana cara mengatasi crawl error itu sendiri.

Di samping GSC, Anda juga dapat melakukan pengecekan isu dengan metode lainnya. Pasalnya, informasi di search consoles sendiri biasanya tertunda. Laporan pada umumnya berisi informasi tentang error yang biasanya sudah teratasi beberapa minggu yang lalu.

Jenis Crawl Error dan Cara Mengatasinya

Setelah mengenal apa itu crawl error, Anda perlu mengetahui bagaimana cara mengatasinya. Namun sebelumnya, ada dua jenis isu yang penting untuk dikenal webmaster. Adapun Google membagi error pada proses crawling menjadi dua, yaitu site error dan URL error.

Site Error

Proses crawling bisa terhambat apabila terjadi site error. Isu pada website secara keseluruhan ini masuk dalam kategori high-level. Anda bisa melihat pemberitahuan masalah ini pada dashboard Crawl Errors selama 90 hari terakhir.

Mengingat dampak site error pada website secara keseluruhan, diperlukan tindakan untuk menghapus crawl error yang berakar dari masalah tersebut dengan cepat. Apabila website sudah bebas dari masalah, maka status error di GSC pun akan diperbarui secara otomatis.

Agar terhindar dari masalah terkait dan menerapkan cara mengatasi crawl error dengan tepat, Anda bisa melakukan pengecekan website paling tidak setiap 90 hari. Pastikan untuk mengamati isu-isu sebelumnya untuk mengantisipasi error yang mungkin terjadi di masa mendatang.

Namun setidaknya, pengecekan secara rutin juga perlu dilakukan sehingga isu-isu kecil pun dapat teratasi dengan cepat. Untuk melakukan pengamatan site error, Anda perlu memperhatikan beberapa faktor di bawah ini:

DNS Error

Apabila terjadi DNS error, server website tidak bisa berkomunikasi dengan search engine. Hal tersebut mungkin terjadi jika terjadi server down. Dampaknya adalah website tidak bisa dikunjungi atau diakses.

Masalah pada DNS ini biasanya hanya berlangsung sementara. Google akan melakukan crawling kembali secara otomatis nantinya. Namun jika isu tersebut belum terselesaikan, maka pemberitahuan akan muncul di Google Search Console.

Penerapan cara mengatasi crawl error untuk isu dengan DNS bisa dilakukan dengan menggunakan beberapa metode sebagai berikut: 

• Gunakan alat URL Inspection tools untuk memeriksa status sambungan DNS
• Cek server langsung dengan penyedia layanan DNS
• Perhatikan kode error pada server

Server Error

Di samping masalah pada DNS, cara mengatasi crawl error juga perlu melihat isu pada server. Hal ini berarti bot tidak bisa mengakses website Anda. Waktu permintaan untuk masuk atau loading mungkin terlalu lama sehingga muncul pemberitahuan error.

Server error biasanya terjadi apabila terdapat kesalahan pada kode yang mencegah terjadinya proses loading suatu halaman. Mungkin saja, terlalu banyak pengunjung yang mengakses website secara bersamaan sehingga server tidak bisa menangani permintaan mereka. Biasanya error seperti ini berupa kode 5xx, seperti 500 dan 503.

Cara mengatasi crawl error dalam hal ini adalah dengan menggunakan Google URL Inspection tools untuk mengecek apakah bot dapat merayapi website. Apabila tidak ditemukan masalah, maka secara umum Google dapat mengakses situs Anda tanpa gangguan.

Robot Failure

Sebelum proses crawling, bot Google umumnya mencoba melakukan perayapan file robots.txt di website Anda. Hal tersebut dilakukan untuk memeriksa apakah ada area di website yang memang tidak Anda inginkan untuk diindeks oleh Google.

Apabila Anda ingin semua konten website terindeks oleh Google, maka file robots.txt pun tidak diperlukan. Server akan kembali dengan kode 404 ketika bot Google meminta akses untuk file robots.txt.

Untuk menghapus crawl error dalam hal ini, Anda perlu melakukan langkah-langkah di bawah ini:

• Memastikan file robots.txt terkonfigurasi dengan benar
• Cek ulang file-file robots.txt
• Ada baiknya untuk tidak menggunakan file robots.txt sama sekali

URL Error

Selain site error, Anda juga perlu memperhatikan masalah pada URL website. Dalam hal ini, beberapa halaman tidak bisa muncul di halaman pencarian Google. Untuk melihat akar masalahnya, Anda bisa melakukan pengecekan dan melihat laporan di Google Search Console pada bagian URL Errors.

Jika site error berdampak pada website secara keseluruhan, maka isu terkait URL pada proses crawling dapat menghalangi bot Google mengakses halaman situs satu per satu. Pada umumnya, masalah terjadi karena terjadi redirect chain yang tidak benar maupun sitemap .xml yang belum diperbarui. Anda bisa menggunakan Redirect Checker dari cmlabs untuk mengecek isu tersebut.

Adapun beberapa jenis URL error yang perlu diketahui adalah:

Soft 404

Kode Soft 404 akan muncul ketika halaman yang telah dihapus tidak memunculkan respon HTTP 404. Di samping itu, halaman yang seharusnya tidak ada dalam website mengarahkan pengguna ke halaman yang tidak relevan. Adapun kode error tersebut juga akan muncul apabila halaman yang diakses kosong atau tidak menampilkan konten.

Cara mengatasi crawl error dalam hal ini adalah dengan melakukan langkah-langkah berikut:

• Menghapus broken link dan halaman kosong
• Mengkonfigurasikan redirect dengan benar
• Melakukan konfigurasi respon 404 untuk halaman yang tidak tersedia

404 Error

Crawl error dapat terjadi apabila bot merayapi halaman yang tidak tersedia. Kode 404 error muncul apabila halaman tersebut masih terdapat di sitemap .xml website. Adapun terdapat dua macam 404 error, yaitu internal dan eksternal. Maka dari itu, cara mengatasi crawl error dalam kasus ini bergantung pada tipe link yang bermasalah itu sendiri.

Apabila link bermasalah terdapat di dalam website, maka webmaster dapat menghapusnya sendiri. Namun jika link berada di luar situs, maka dibutuhkan bantuan dari pakar SEO atau manajer konten untuk mengkonfigurasi 301 redirect dalam file .htaccess untuk memindahkan beban link ke halaman lain yang relevan.

Access Denied

Bot tidak dapat mengakses URL halaman website merupakan salah satu penyebab crawl error. Hal tersebut bisa terjadi karena beberapa faktor, di antaranya larangan crawling seluruh resource maupun direktori individual dan direktif yang digunakan di file robots.txt. Selain itu, masalah bisa terjadi apabila hoster memblokir akses bot ke website.

Adapun cara mengatasi crawl error dalam kasus ini adalah sebagai berikut:

• Mengizinkan akses halaman tanpa otorisasi
• Membuat file robots.txt dengan benar agar dapat terlihat oleh bot
• Melakukan pengecekan lewat crawler Google
• Mengamati proses crawling website dari perspektif search engine.

Demikian pembahasan seputar cara mengatasi crawl error pada website. Apabila terjadi masalah pada proses crawling, segera cari tahu apa yang menyebabkan masalah tersebut terjadi. Anda bisa menggunakan Google Search Console (GSC) untuk mengamati kondisi situs dan isu apa yang perlu diselesaikan untuk menghindari crawl error terjadi berkepanjangan.

Jika praktik terbaik yang kami sarankan terasa berat, Anda dapat memanfaatkan Jasa SEO profesional dan berkonsultasi atas permasalahan yang Anda hadapi, dan dapatkan free website development selama 2 bulan dari cmlabs sekarang.