Memahami Log File Analysis dan Benefitnya untuk SEO

Memiliki log file pada website Anda sangat berguna untuk mengetahui informasi yang belum bisa didapatkan dimanapun. Tak hanya itu, log file juga dapat digunakan untuk melihat behavior Google pada website Anda. 

Lalu, apa yang dimaksud log file analysis? temukan jawaban lengkap mengenai definisi, informasi apa saja yang diberikan, serta cara aksesnya melalui panduan ini.

Apa Itu Log File?

Log file adalah file berisi rekaman aktivitas permintaan akses website yang dibuat dan selalu diperbarui oleh server. Perlu dipahami bahwa log file yang dibahas pada artikel ini berbeda dengan istilah log file dalam web developer.

Pada artikel ini, log file yang dimaksud adalah access log file yang menyimpan riwayat permintaan akses HTTP ke server. Sedangkan log file dalam web developer mencatat aktivitas yang berlangsung pada suatu sistem dan digunakan untuk menemukan bugs.

Access log file memuat informasi mengenai siapa saja client yang membuat permintaan akses ke website dan halaman apa yang diakses. Client di sini bisa berbagai macam, baik itu seorang pengguna atau web crawler seperti Googlebot.

Server web membuat dan memperbarui access log file pada suatu website, lalu menyimpannya untuk jangka waktu tertentu. Anda bisa menggunakan log file tersebut untuk memahami secara detail bagaimana pengguna ataupun search engine berinteraksi dengan website Anda. 

Mungkin Anda akan sedikit kesulitan ketika pertama kali ingin mencari dan mengakses log file, namun Anda akan mendapatkan informasi yang sangat bernilai ketika telah menggunakan file ini. Oleh karena itu, mari simak lebih lanjut panduan log file analysis ini.

Informasi yang Dimuat dalam Log File

Fungsi log file adalah menyediakan beragam informasi mengenai aktivitas permintaan akses yang terjadi di website. Informasi tersebut tidak akan Anda temukan di tools mana pun. Berikut ini adalah beberapa informasi yang ada di log file:

• IP address dari client yang membuat permintaan akses.
• Tanggal dan waktu dilakukannya permintaan akses.
• Metode yang digunakan untuk meminta akses website. Metode tersebut bisa berupa ‘GET’ atau ‘POST’.
• URL yang dimintai akses oleh client pada website tersebut.
• Kode status HTTP dari halaman yang dimintai akses. Kode status ini menunjukkan apakah permintaan akses berhasil atau gagal.
• User agent yang melakukan permintaan akses. 
• Beberapa host server juga menyediakan informasi tambahan di log file seperti nama host, server IP, jumlah bytes yang diunduh, dan waktu yang dibutuhkan untuk membuat permintaan akses.

Cara Akses Log File

Seperti yang yang sudah disebutkan sebelumnya, log file disimpan di dalam server web. Untuk itu, Anda memerlukan akses ke server agar bisa mendapatkan log file. Jika Anda tidak memiliki akses tersebut, Anda bisa meminta bantuan kepada tim IT atau website developer untuk membagikan salinan log file.

Masalahnya, proses untuk mengakses log file tidaklah mudah. Ada beberapa isu dan tantangan yang mungkin akan Anda hadapi seperti:

1. Log file dinonaktifkan: Admin server bisa saja menonaktifkan log file sehingga data tidak tersedia.
2. Ukuran log file: Log file pada website dengan traffic yang tinggi pastinya akan memiliki ukuran yang sangat besar sehingga proses pengiriman file akan memakan banyak waktu dan sumber daya.
3. Data tidak memadai: Log file mungkin hanya merekam data permintaan akses untuk beberapa hari saja karena ukuran file yang besar sehingga datanya tidak lengkap dan sulit digunakan untuk mengamati trend atau isu.
4. Data tersebar: Website yang menggunakan banyak server bisa membuat data log file tersebar sehingga Anda perlu menyatukan data tersebut dari setiap server sebelum menggunakan log file.
5. Isu CDN: Kendala juga bisa terjadi apabila data log file berada di CDN dan terdapat kendala pada CDN yang website gunakan.
6. Privasi: Log file memuat informasi terkait IP address dari para pengguna website sehingga data tersebut mungkin perlu dihapus sebelum diberikan ke Anda.
7. Tidak diberi akses: Tim IT atau website developer tidak bersedia untuk memberikan akses log file karena beragam alasan seperti masalah privasi.

Isu-isu yang dipaparkan di atas perlu untuk dikomunikasikan dengan developer. Berikan penjelasan mengenai urgensi log file analysis dan lakukan koordinasi dengan developer untuk mengatasi isu tersebut.

Kegunaan Log File untuk SEO

Log file merekam setiap permintaan akses ke website, termasuk dari web crawler. Data pada log file dapat memberitahu Anda aktivitas dan perilaku web crawler seperti Googlebot di website Anda. Tentunya, informasi ini tidak bisa Anda dapatkan dari manapun kecuali log file.

Dengan adanya log file, Anda bisa memanfaatkan informasi aktivitas web crawler untuk memaksimalkan proses crawling dan indexing. Oleh sebab itu, log file analysis sangat penting dalam SEO.

Berikut ini adalah beberapa kegunaan log file yang bisa Anda manfaatkan untuk memaksimalkan SEO website:

Analisis aktivitas crawling

Anda bisa memanfaatkan log file untuk menganalisis seberapa sering web crawler mengunjungi website Anda. Cari tahu juga apakah halaman-halaman yang dirayapi merupakan halaman yang penting dan perlu untuk diindeks.

Jika ada banyak halaman tidak penting yang dikunjungi web crawler, maka Anda dapat menguranginya dengan menggunakan robots.txt. Sehingga, Anda dapat mengefisiensikan crawl budget.

Melacak isu error 404

Log file menyimpan informasi mengenai kode status HTTP pada setiap permintaan akses yang diterima server. Mungkin informasi ini bisa Anda temukan di tools lainnya. Meskipun begitu, log file bisa memberitahu Anda seberapa sering suatu URL mendapatkan kode error 404 ketika akan diakses.

Dengan mengetahui URL yang paling sering mendapatkan error 404, Anda dapat menentukan URL yang harus diprioritaskan untuk mendapatkan perbaikan.

Memantau trend

Anda bisa memantau data historis permintaan akses dari web crawler di log file. Dengan melakukan pemantauan data historis tersebut, Anda akan mengetahui bagaimana pola dan perilaku web crawler di website. Contohnya seperti berapa kali kunjungan web crawler dalam sebulan, halaman apa yang paling sering dikunjungi, dan sebagainya.

Ketika ada perubahan pola dan perilaku web crawler, maka Anda sudah bisa mengetahuinya dan mencari tahu apa penyebabnya. Dengan data tersebut, pemilik website bisnis dapat melakukan proses enhancing feature untuk kebutuhan pembuatan campaign maupun pengembangan halaman produk dengan lebih mudah.

Melakukan Log File Analysis

Log file adalah file yang sangat berguna dalam SEO apabila Anda bisa memanfaatkannya dengan baik, salah satu caranya adalah dengan melakukan log file analysis.

Sebagai salah satu bagian dari strategi optimasi technical SEO, log file analysis akan membantu Anda untuk mendapatkan informasi seputar aktivitas web crawler di website Anda.

Dengan dilakukannya log file analysis, Anda dapat menemukan peluang untuk mengoptimalkan proses crawling dan indexing sehingga akan semakin banyak halaman website Anda yang terindeks di Google.

Berikut ini beberapa tahapan log file analysis yang bisa Anda ikuti:

Pastikan Log File Memiliki Format yang Benar

Sebelum melakukan log file analysis, pastikan bahwa log file yang akan Anda gunakan sudah memiliki format yang benar. Anda bisa melihat contoh log file berikut ini untuk memahami format yang benar:

28.301.15.1 – – [28/Oct/2022:11:20:01 -0400] “GET/product/type1/ HTTP/1.1” 200 21466 “https://example.com/product” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

Penjelasan pada masing-masing komponen log file:

• IP Address : 28.301.15.1
• Client ID : – (biasanya tidak ditampilkan dan diganti dengan tanda hyphen)
• User name : – (biasanya tidak ditampilkan dan diganti dengan tanda hyphen)
• Waktu dan zona waktu : [28/Oct/2022:11:20:01 -0400]
• Metode permintaan akses : GET atau POST
• URL slug dari halaman yang ingin diakses : /product/type1/
• Versi HTTP : HTTP/1.1
• Kode status HTTP : 200
• Ukuran objek yang dimintai akses (dalam satuan byte) : 21466
• URL sumber permintaan akses berasal : https://example.com/product (jika tidak ada, muncul tanda hyphen)
• User agent : Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Filter Non-Search Engine Crawlers

Apabila Anda ingin melakukan log file analysis khususnya terkait aktivitas crawling di website, Anda perlu melakukan filter untuk memisahkan data yang berasal dari user agent selain search engine crawler.

Jika Anda menggunakan tools untuk melakukan log file analysis, Anda bisa menggunakan fitur yang disediakan oleh tools tersebut untuk melakukan filter data.

Lakukan Analisis dengan Pertanyaan

Setelah memastikan format dan memfilter non-web crawler di log file, Anda sudah bisa mulai melakukan log file analysis. Gunakan pertanyaan analisis untuk menemukan adanya pola perilaku, isu, error, dan peluang optimasi. Berikut daftar pertanyaan yang bisa Anda gunakan:

1. Seberapa banyak jumlah halaman yang dikunjungi oleh web crawler?
2. Halaman apa saja yang sudah dikunjungi atau belum dikunjungi oleh web crawler?
3. Seberapa dalam proses penelusuran web crawler pada website Anda?
4. Seberapa sering suatu bagian atau kategori website dirayapi?
5. Seberapa sering halaman yang ter-update dirayapi secara reguler?
6. Berapa lama waktu yang dibutuhkan bagi konten baru untuk ditemukan oleh web crawler?
7. Apakah perubahan struktur atau arsitektur website mempengaruhi proses crawling?
8. Seberapa cepat proses crawling pada website Anda?

Demikian penjelasan lengkap mengenai peran log file dalam SEO dan cara menggunakannya dengan log file analysis. Semoga dengan penjelasan ini, Anda bisa mendapatkan pengetahuan baru yang bermanfaat bagi proses optimasi technical SEO Anda.

Jika Anda membutuhkan bantuan untuk melakukan log file analysis, jangan ragu untuk menggunakan Jasa SEO profesional yang akan melakukan optimasi pada website Anda.