Eksperimen Penulisan Artikel AI vs Manusia dalam SEO

Penulisan konten SEO tak lagi membutuhkan peran manusia sejak kehadiran AI (Artificial Intelligence). Kabar ini tentunya sudah menyebar di seluruh belahan dunia, dan menjadi kekhawatiran tersendiri bagi penulis konten. Sayangnya, pernyataan tersebut masih belum bisa dibuktikan sepenuhnya. Namun, tidak bisa disangkal seutuhnya.

ChatGPT (salah satu jenis AI) sendiri sebetulnya telah menyatakan bahwa kehadirannya bukanlah untuk menggantikan peran manusia dalam menulis konten, namun untuk membantu penulis konten selama prosesnya.

Sejumlah praktisi SEO pun diketahui telah melakukan case study terkait hal ini, dan hasilnya cukup bervariasi. Sebagian menunjukkan bahwa konten SEO yang ditulis oleh AI memberikan dampak positif bagi SEO, namun ada pula yang memberikan dampak negatif
 

Karena latar belakang ini, cmlabs memutuskan untuk melakukan eksperimen serupa yang membandingkan performa artikel SEO yang ditulis oleh AI dan manusia di halaman hasil pencarian Google menggunakan matriks peringkat kata kunci atau keyword rank.

Tujuan utama dari eksperimen ini adalah untuk mengetahui apakah artikel-artikel yang ditulis oleh AI dapat menduduki peringkat lebih tinggi di Google dibandingkan artikel-artikel yang ditulis oleh manusia.

Eksperimen ini dilakukan selama dua bulan. Di mana satu bulan pertama digunakan oleh tim SEO dan Content Writer untuk meriset kata kunci dan memproduksi artikel, dan satu bulan selanjutnya merupakan waktu bagi tim SEO dan Data untuk melacak atau tracking peringkat setiap keyword dan menganalisis perkembangannya.

Setelah eksperimen ini dilakukan, diperoleh data lainnya yang dapat mendukung hasil eksperimen. Berikut merupakan tahapan dari eksperimen yang kami lakukan.

Tahapan-Tahapan Eksperimen AI vs Manusia

Seluruh tahapan dalam eksperimen ini dilakukan secara adil, sehingga tidak ada perbedaan atau perlakuan khusus terhadap artikel yang ditulis manusia ataupun AI. Kami juga menerapkan pedoman yang sama pada kedua jenis konten untuk menghindari faktor-faktor yang dapat memengaruhi performa konten tertentu.

1. Pemilihan Situs Web yang Akan Digunakan

Dalam eksperimen ini, kami memilih enam situs web yang masing-masing sudah memiliki aset konten dan organic traffic dengan jumlah yang berbeda-beda. Keenam situs web tersebut yaitu tiketresmi.com, museumnusantara.com, inklusiuang.com, animalogi.com, teknohacks.com, dan bundatimes.com.

Nantinya, setiap situs web akan mempublikasikan lima artikel SEO yang ditulis oleh manusia dan lima artikel SEO yang ditulis oleh AI dengan topik yang telah disesuaikan dengan niche situs web.

2. Riset Keyword

Tim SEO menggunakan tools SEO third-party, seperti Google Keyword Planner, Semrush, dan Sequence Keyword Research Tool untuk melakukan riset keyword. Tahapan ini merupakan tahapan yang krusial karena setiap kata kunci memiliki tingkat kompetisinya tersendiri yang dapat memengaruhi peringkatnya di Google.

Maka dari itu, kami menerapkan pedoman berikut untuk memastikan setiap kata kunci, baik yang akan digunakan dalam artikel AI dan artikel yang ditulis manusia, memiliki tingkat kompetisi di level yang sama:

• Pemilihan keyword disesuaikan dengan niche setiap situs web.
• Seluruh keyword memiliki search intent “informational”.
• Search volume dari keyword yang digunakan memiliki gap yang berdekatan.
• Seluruh keyword memiliki tingkat kompetisi "low".
• Seluruh keyword yang digunakan dipastikan belum pernah diproduksi artikelnya di situs web terkait.

Berikut adalah daftar kata kunci yang digunakan dalam eksperimen ini:

3. Pemilihan AI

Hadirnya ChatGPT oleh OpenAI menarik perhatian masyarakat luas. Meskipun ChatGPT bukanlah jenis AI yang pertama di dunia, namun sejak dirilisnya chatbot ini di tanggal 30 November 2022 lalu berhasil membuat berbagai platform berlomba-lomba untuk menyediakan fitur yang didukung oleh ChatGPT atau berbasis AI.

Kami pun memilih menggunakan ChatGPT melalui ekstensi Chrome bernama AIPRM for ChatGPT. Kami juga menggunakan beberapa prompt template yang tersedia pada ekstensi ini. Tujuannya adalah untuk membantu kami memastikan seluruh artikel yang ditulis AI memiliki kualitas yang sama sehingga mencegah terjadinya bias dan ketimpangan antar artikel AI yang dapat memengaruhi performa peringkatnya di Google.

Sebelumnya kami juga telah menguji coba prompt template tersebut untuk memproduksi sebuah artikel menggunakan kata kunci “informational” dan membandingkanya dengan artikel yang menggunakan kata kunci yang sama di SERP (search engine result page). Hasilnya, artikel yang ditulis AI menggunakan prompt template memuat informasi yang juga terdapat pada artikel yang kami temukan di SERP. Sehingga, dapat dikatakan bahwa prompt template tersebut layak digunakan untuk eksperimen AI vs Manusia ini. 

4. Penulisan dan Publikasi Konten

Tujuan dari eksperimen ini adalah untuk mengetahui bagaimana performa artikel yang ditulis oleh AI dan artikel yang ditulis manusia di SERP. Sehingga, sebisa mungkin kami menghindari atau meminimalkan human touch pada artikel yang diproduksi oleh AI. Namun, kami tetap memastikan bahwa seluruh artikel mengikuti pedoman yang sama agar teroptimasi secara merata.

Berikut adalah pedoman untuk penulisan seluruh artikel:

• Hanya menggunakan satu keyword utama.
• Jumlah kata minimal 500 di setiap artikel.
• Keyword utama wajib berada di meta information dan bagian introduction artikel.
• Terdiri dari minimal satu internal link.

Sementara itu, pedoman tambahan yang harus diterapkan pada artikel AI adalah:

• Penulisan artikel menggunakan prompt template “Human Written |100% Unique |SEO Optimized Article” (termasuk penulisan introduction, headings, dan closing).
• Penulisan meta information menggunakan prompt template “Title + Meta description + 10 Hn tags”.

Selanjutnya, untuk kebutuhan gambar cover di artikel, baik pada artikel yang ditulis manusia maupun AI, kami menggunakan gambar berlisensi yang kami unduh dari situs penyedia stock image.

Setelah 30 artikel oleh AI dan 30 artikel oleh tim Content Writer selesai ditulis, dilanjutkan dengan publikasi artikel di masing-masing situs web.

5. Pembuatan Dashboard di Looker Studio

Tim Data memanfaatkan Looker Studio untuk membantu proses analisis perkembangan performa masing-masing artikel (berdasarkan URL) di SERP. Adapun beberapa matriks yang akan dianalisis adalah clicks (organic traffic) dan impressions. Data ini nantinya akan dijadikan data pendukung untuk hasil akhir eksperimen.

6. Menganalisis dan Melacak Peringkat Kata Kunci

Proses analisis dan melacak peringkat masing-masing kata kunci dilakukan oleh tim SEO dan Data selama satu bulan lamanya. Seperti yang telah disebutkan sebelumnya, tim Data menggunakan Looker Studio untuk memperoleh data yang diperlukan.

Sementara itu, tim SEO menggunakan Sequence Stats untuk tracking posisi kata kunci dari masing-masing artikel. Aktivitas tracking peringkat kata kunci ini dilakukan setiap hari sejak hari pertama setelah artikel dipublikasi (H+1 artikel dipublikasi).

Untuk mempermudah proses tracking peringkat kata kunci, tim SEO membuat dua jenis view di Sequence Stats untuk masing-masing domain, yakni (a) view yang khusus melacak peringkat kata kunci dari artikel yang ditulis oleh manusia dan (b) view yang khusus melacak peringkat kata kunci dari artikel yang ditulis oleh AI. Secara otomatis akan terlihat pula average rank kata kunci dari masing-masing view.

Berikut merupakan tampilan view untuk melacak peringkat kata kunci dari artikel yang ditulis oleh manusia pada domain museumnusantara.com. Data ini kami ambil pada tanggal 12 Oktober 2023. Terlihat pada tanggal tersebut kelima kata kunci dari artikel yang ditulis manusia memperoleh market share sebesar 6.34%. Ini merupakan hal yang positif karena domainnusantara.com berhasil menduduki posisi ketiga tertinggi dari seluruh kompetitor yang memperebutkan market share untuk kata kunci yang sama.

Lalu, berikut adalah tampilan view untuk melacak peringkat kata kunci dari artikel AI pada domain tiketresmi.com. Data ini juga kami ambil di tanggal 12 Oktober 2023. Terlihat bahwa kata kunci dari artikel AI hanya memperoleh market share sebesar 0.21% (posisi ke-25). Angka ini tergolong cukup kecil, karena masih terdapat sekitar 99.79% market share yang diperebutkan oleh kompetitor untuk kata kunci yang sama.

Hasil Eksperimen AI vs Manusia

Selama 30 hari, terlihat adanya rank changes yang terjadi di setiap kata kunci. Namun, di sini terlihat bahwa lima dari enam situs web yang digunakan dalam eksperimen, lima situs web di antaranya didominasi oleh artikel yang ditulis manusia berdasarkan matriks peringkat kata kunci. Di mana pada kelima situs web tersebut, kata kunci dari artikel yang ditulis oleh manusia memiliki average rank lebih tinggi dibandingkan kata kunci dari artikel yang ditulis oleh AI.

Berikut adalah average rank dari masing-masing kata kunci di keenam situs web beserta data pendukung (clicks dan impressions) di hari terakhir eksperimen:

 Lalu, dari data di atas, ada hal lain yang juga menarik perhatian kami yaitu akumulasi User Engagement (dilihat dari matriks Clicks) yang mendapatkan hasil positif. Di mana artikel yang ditulis manusia mendapatkan lebih banyak clicks (1302) dibandingkan artikel AI (233). Artinya, clicks yang diperoleh artikel AI hanya setara 17% dari total clicks artikel manusia.

Clicks yang diperoleh artikel manusia tersebut diketahui berasal dari beberapa query (selain keyword utama) yang tertangkap oleh Google, seperti berikut ini:

Artikel yang ditulis manusia juga berhasil memperoleh total impresi yang lebih tinggi dibandingkan artikel yang ditulis AI pada empat dari enam situs web. Penting untuk diingat, impresi yang tinggi menunjukkan bahwa konten diekspos ke audiens yang lebih besar, sehingga berkontribusi terhadap peningkatan visibilitas.

Selama 30 hari ini pun terlihat artikel-artikel yang ditulis manusia mengalami peningkatan performa pada matriks clicks dan impressions dari waktu ke waktu. Sedangkan artikel-artikel yang ditulis AI cenderung stagnan atau mengalami penurunan performa.

Dari eksperimen ini pula dibuktikan bahwa penulisan artikel menggunakan AI yang menyajikan informasi bermanfaat memiliki potensi untuk memperoleh peringkat di Google, dan hal ini pun tidak bertentangan dengan pedoman Google sebagaimana telah disampaikan dalam halaman panduan Google penelusuran tentang konten buatan AI.

Kendala selama Eksperimen AI vs Manusia

Terdapat beberapa kendala yang sempat kami alami selama menjalani eksperimen AI vs Manusia. Di mana kendala-kendala tersebut mungkin saja memengaruhi hasil akhir dari eksperimen ini. Namun, tidak bisa kami pastikan seberapa besar pengaruh kendala-kendala ini terhadap temuan akhir eksperimen.

Meski begitu, kami sudah mengupayakan berbagai hal, seperti menerapkan pedoman di setiap tahapannya, untuk memastikan data yang kami peroleh akurat. Dan, dengan adanya kesadaran akan kendala-kendala yang kami hadapi, diharapkan hal ini dapat kami atasi atau hindari dalam eksperimen lainnya sehingga bisa diperoleh data dan hasil yang lebih akurat lagi.

Berikut kami jabarkan kendala-kendala dari setiap tim yang terlibat:

Kendala dari Tim SEO

Sudah disebutkan sebelumnya pada tahapan Riset Keyword, di mana pemilihan kata kunci merupakan hal yang krusial. Sebab, setiap kata kunci memiliki potensi tersendiri untuk berada di peringkat atas di halaman Google dan ini merupakan di luar kendali tim SEO.

Upaya yang tim SEO lakukan adalah memilih keyword dengan tingkat kompetisi yang sama, yaitu low, dan memiliki search volume yang sama atau tidak jauh berbeda antara human dan AI menggunakan tools SEO third-party.

Sayangnya, meski telah menunjukkan tingkat kompetisi rendah, tim SEO menilai beberapa kata kunci tertentu tetap memiliki tingkat persaingan yang cukup kompetitif di SERP. Hal ini ditunjukkan dari banyaknya situs web yang telah memiliki artikel menggunakan kata kunci tersebut di SERP, khususnya di halaman pertama Google.

Kendala selanjutnya adalah adanya penambahan internal link di setiap artikel. Meski seluruh artikel sama-sama memiliki internal link, namun setiap internal link tentunya memiliki pengaruh yang berbeda-beda terhadap performa suatu artikel yang tidak bisa diukur secara pasti. 

Kendala dari Tim Content Writer

Kendala dari tim Content Writer lebih banyak terjadi selama memproduksi artikel yang ditulis AI (AIPRM for ChatGPT). Meski telah menggunakan prompt template, beberapa kali ChatGPT menyajikan informasi yang kurang sesuai, khususnya pada topik-topik lokal yang berkaitan dengan kebudayaan Indonesia dan informasi transportasi di Indonesia, seperti harga tiket bus dan rute bus.

Sebagai contoh pada artikel “Busana Pranakan”. Busana pranakan adalah pakaian dinas harian yang digunakan oleh Abdi Dalem jaler (pria) selama bertugas di Keraton Yogyakarta. Namun, berikut salah satu informasi yang ditulis oleh ChatGPT:

Setelah kami telusuri lebih lanjut, terdapat kemungkinan bahwa ChatGPT salah memahami busana pranakan sebagai budaya peranakan Tionghoa. Sehingga, kami pun perlu menambahkan informasi yang lebih spesifik ke dalam prompt template dan memperbaiki sejumlah informasi kurang tepat yang masih kami temukan di dalam artikel tersebut agar isi artikel sesuai dengan kata kunci yang telah ditargetkan.

Hal ini pun membuat beberapa isi artikel yang ditulis AI memperoleh human touch, yang mana seharusnya perlu dihindari selama eksperimen.

Selain itu, kami juga menemukan kendala selama pembuatan meta title dan meta description di setiap artikel AI. Karena prompt template untuk pembuatan artikel hanya menyediakan judul, jadi kami memutuskan untuk menggunakan prompt template lainnya untuk pembuatan meta title dan meta description.

Meski begitu, tak jarang meta title atau meta description yang disajikan terlalu panjang (meta title sebaiknya tidak lebih dari 65 karakter dan meta description sebaiknya tidak lebih dari 155 karakter). Sehingga, diperlukan penyesuaian atau human touch terhadap meta title dan meta description-nya.

Kendala dari Tim Data

Kendala yang dihadapi tim Data umumnya berkaitan dengan teknis, seperti masih adanya data null setelah dilakukan blend data dari artikel-artikel yang telah dipublikasi, Google Search Console, dan Google Analytics 4. Hal ini disebabkan tidak terhitungnya total users yang mengakses artikel yang telah dipublikasi, namun memiliki clicks dan impressions. Fenomena ini wajar terjadi karena perbedaan perhitungan matriks dari Google Search Console dan Google Analytics 4. 

Selain itu, karena eksperimen AI vs Manusia ini merupakan eksperimen berskala kecil (hanya menggunakan 60 artikel) dan durasi yang singkat, maka data yang diperoleh pun terbilang cukup sedikit, dan masih bisa dioptimalkan lagi.

Kesimpulan

Dari eksperimen AI vs Manusia yang telah kami lakukan, dapat disimpulkan bahwa artikel-artikel yang ditulis oleh manusia secara keseluruhan memiliki performa yang lebih baik dibandingkan artikel-artikel yang ditulis AI berdasarkan matriks average rank, clicks, dan impressions.

Selain itu, artikel yang ditulis oleh manusia pun berpotensi lebih besar untuk mendapatkan organic traffic. Hal ini dikarenakan selama proses menulis, tim content writer berkesempatan menggunakan variasi kata terkait topik yang tengah dibahas di dalam artikel, yang memungkinkan Google untuk menangkap lebih banyak query.

Penggunaan AI untuk menulis artikel pun tetap berpotensi memiliki performa yang bagus di halaman Google, hanya saja masih dibutuhkan human touch dalam proses produksinya.

Sehingga, dapat dikatakan penulisan konten oleh manusia masih memegang peran penting dalam SEO, dan kehadiran AI tidak semata-mata dapat menggantikan aktivitas yang dilakukan oleh manusia, termasuk dalam penulisan konten SEO.

Oleh karena itu, kami, cmlabs, hingga saat ini masih mengimplementasikan penulisan konten SEO yang dilakukan oleh manusia, tim Content Writer kami. Bahkan, kami sudah memiliki pedoman terkait Larangan Penggunaan Alat Kecerdasan Buatan (AI) untuk Penulisan Konten Klien dan hal ini kami lakukan sampai adanya data lebih lanjut penggunaan AI dalam penulisan konten. Kami pun terus mengupayakan untuk menghasilkan konten yang bermanfaat bagi para pembaca melalui kolaborasi bersama tim SEO dan tim yang terlibat lainnya.

Bersamaan dengan ini, tidak menutup kemungkinan apabila akan dilakukan eksperimen lanjutan terkait AI vs Manusia, baik dengan menerapkan metode yang sama atau metode lainnya, untuk memperoleh data yang lebih besar dan akurat.