Alasan Halaman Tidak Terindeks: Teknikal dan Kualitas

Pada tanggal 22 Juni 2023, Search Off The Record, podcast milik Google merilis episode terbarunya yang membahas tentang beberapa alasan mengapa halaman tidak diindeks oleh Google. Podcast ini dibawakan oleh tim Google Search Relation yaitu Martin Splitt, John Mueller, dan Gary Illyes. Berikut beberapa poin penting dari podcast ini.

 

Mengapa Halaman Tidak Terindeks?

Mengutip dari percakapan ketiga orang tersebut, ada beberapa hal yang dapat memengaruhi indexing sebuah halaman. Namun, Mueller menegaskan bahwa umumnya beberapa halaman dalam website tidak terindeks adalah hal umum. Kecuali, jika hampir seluruh halaman tidak terindeks.

Jika hampir semua halaman tidak diindeks oleh Google, maka hal ini mengindikasikan masalah yang lebih besar dan teknikal. Biasanya, halaman utama sebuah website adalah halaman yang paling mudah untuk diindeks. Jika tidak, maka perlu dilakukan audit untuk menemukan permasalahannya. 

Berikut adalah beberapa alasan halaman tidak terindeks dengan baik:

 

1. Website Masih Baru

Alasan pertama yang menyebabkan halaman sulit terindeks bisa jadi dikarenakan oleh umur website yang masih tergolong baru. Hal ini biasa terjadi karena sistem Google masih mempelajari tentang website baru ini.

Namun, bukan berarti halaman baru tidak bisa diindeks sama sekali. Biasanya, Google akan membutuhkan waktu untuk mengindeksnya setelah melakukan crawling. Lama waktu yang dibutuhkan juga tergantung pada beberapa faktor seperti urgensi halaman, demand dari topik halaman tersebut, dan banyak lagi.

 

2. Server Tidak Terjangkau oleh Googlebot Host

Alasan kedua adalah mengenai server halaman website yang tidak terjangkau oleh Googlebot Host. Hal ini mengakibatkan seluruh halaman web tidak dapat diindeks oleh Google. Berikut adalah pernyataan John Mueller mengenai hal ini:

 

If my server is not reachable from Googlebot hosts, then sure, that is

a technical problem, I guess. Right?

 

That could be a reason why nothing is indexed. Sure, yeah.

 

Alasan ini terjadi pada sisi teknikal website, sehingga webmaster dapat memeriksa apakah server yang digunakan dapat dijangkau oleh Googlebot.

 

3. Penyalahgunaan Robot.txt

File robots.txt adalah file teks khusus yang ditempatkan di direktori root sebuah situs web. File ini memberikan instruksi kepada robot mesin pencari, seperti Googlebot, tentang halaman-halaman mana yang harus diindeks dan halaman mana yang harus diabaikan.

Dengan menggunakan aturan di file robots.txt, pemilik situs dapat mengontrol cara mesin pencari mengindeks konten situs web mereka. Jika penggunaannya salah, maka halaman website sulit untuk diindeks oleh Google.

 

4. Pengaturan Noindex

Dalam podcast ini pula, John Mueller menjelaskan bahwa banyak webmaster menggunakan tag noindex pada halaman yang tidak seharusnya. Tag ini digunakan untuk membatasi search engine untuk melakukan indexing, meskipun halaman lain menautkannya. 

 

5. Halaman Tidak Memiliki Konten

Ketika membeli domain baru, pengguna mungkin masih belum memiliki konten pada halaman utama. Sehingga, search engine mengabaikannya. Untuk itu, memastikan setiap halaman memiliki konten yang berkualitas wajib dilakukan untuk mendapatkan indexing yang tepat.

 

6. Halaman Tidak Ditautkan Kemana Pun

Selain tidak memiliki konten, halaman yang tidak ditautkan dari mana pun atau ke mana pun akan sulit untuk diindeks. Google melakukan perayapan terhadap semua link yang ditautkan. Maka, penautan halaman dapat mempercepat proses indexing. 

Bahkan, Gary Illyes menyatakan bahwa:

Depending how well a site is linked or a page is linked, it can get indexed within seconds.

 

Biasanya, konten yang cepat terindeks adalah jenis berita atau tren yang sedang banyak dicari. Tak hanya itu, Google juga mampu mempertimbangkan konten apa yang harus diindeks secepatnya. Mengutip perkataan Gary:

 

But yeah, we can index stuff very fast if we need to, like if we see that there is a spike in interest for something, and then we can also take our damn time with it because sometimes it's just not obvious that something should be indexed, right?

 

Jadi, bisa saja konten yang benar-benar sedang on demand akan terindeks lebih cepat. Maka, yang perlu dilakukan adalah membuat konten berkualitas yang sedang banyak dicari oleh pengguna.

 

Apa yang Harus Dilakukan Saat Halaman Tidak Terindeks?

Lalu, bagaimana agar halaman bisa terindeks? Gary Illyes dan John Mueller menyarankan untuk menggunakan fitur inspect URL di Search Console untuk memeriksa apakah benar halaman belum terindeks. Jika iya, pengguna dapat melakukan request indexing melalui alat ini. Dengan begitu, Googlebot akan memprioritaskan halaman untuk segera diindeks.

Selain itu, memeriksa SERP dengan menambahkan “site:example.com” juga dapat digunakan untuk melihat apakah halaman tersebut sudah diindeks. Namun, cara ini hanya dapat menampilkan hasil secara garis besar, sehingga mungkin saja halaman yang dicari tidak tercakup dalam SERP meskipun sudah terindeks. 

Namun, bagaimana dengan konten yang sudah usang dan kurang relevan, apakah kita harus menghapusnya? 

Mueller menyatakan bahwa konten jenis ini tidak perlu dihapus dari website, namun perlu dioptimasi hingga meningkatkan kualitasnya. Setelah itu, Googlebot dapat mengindeks ulang untuk menampilkan perubahannya.

Demikian poin penting yang tercakup dalam podcast Search Off The Record dari Google mengenai alasan mengapa halaman tidak terindeks.