Apa Itu llms.txt? Contoh, Cara Membuat, & Pengaruhnya di GEO

Semakin banyak user yang memanfaatkan ChatGPT, Claude, dan Perplexity sebelum mereka memutuskan untuk membeli produk atau menggunakan suatu layanan. Perubahan perilaku ini membuat banyak pemilik bisnis dan tim marketing harus memutar otak agar konten mereka lebih mudah ditemukan, dipahami, dan dikutip oleh AI. 

Nah, dalam hal ini, file llms.txtadalah teks berbasis Markdown yang diletakkan pada root website untuk membantu AI memahami struktur dan konten dalam sebuah situs, guna mengoptimalkan AI visibility pada website tersebut. 

Bagi sebuah bisnis yang ingin menang di era AI search, memahami apa itu llms.txt tentunya sangat diperlukan. Nah, artikel ini akan membahas seluruh konsep llms.txt secara lengkap, mulai dari apa itu llms.txt, apa saja fungsinya, bagaimana bedanya dengan robot.txt, cara membuatnya, hingga cara mengukur performanya. 

Bagi Anda pemilik bisnis, profesional di bidang IT, maupun tim digital marketing yang ingin mendalami konsep AEO dan GEO, simak pembahasannya hingga akhir di artikel ini.

Apa Itu llms.txt?

llms.txt adalah file berbasis Markdown yang tersedia di website untuk memberikan ringkasan dan tautan ke halaman yang relevan bagi AI agent. Konsep ini diusulkan oleh Jeremy Howard melalui llmstxt.org untuk membantu AI agent lebih mudah menemukan informasi penting dan lebih terarah. 

Gagasan Howard tersebut berangkat dari kondisi website modern yang sudah dilengkapi dengan banyak elemen seperti navigasi, iklan dan JavaScript. 

Beberapa elemen inilah yang dapat membuat konten lebih sulit diproses. Sederhananya, adanya llms.txt menjadi peta jalan agar AI agent bisa menemukan informasi penting, seperti dokumentasi produk, kebijakan, maupun halaman yang dianggap relevan. 

Namun, perlu dipahami juga bahwa file llms.txt ini tidak menjamin bahwa konten pasti akan dikutip oleh AI. Pasalnya, konsep llms.txt sendiri memang masih berkembang dan belum menjadi standar web resmi. 

Apalagi, Google juga menyatakan bahwa sebuah website tidak harus memiliki llms.txt agar dapat muncul di Google Search maupun AI Overviews. Namun, tak ada salahnya untuk mempelajari konsep ini guna mengoptimalkan strategi optimasi di website Anda sebagai langkah penyesuaian terhadap era pencarian baru.

Baca juga: Google AI Overview vs Akal Manusia: Siapa Menang?

Contoh Format llms.txt yang Tepat

Format llms.txt menggunakan sintaks Markdown sederhana, seperti heading untuk membagi informasi dan beberapa tautan untuk mengarahkan ke halaman yang relevan. Struktur berikut dapat menjadi contoh dasar dan bisa Anda sesuaikan dengan kebutuhan setiap website.

Struktur llms.txt tersebut, tentunya tidak harus sama untuk setiap website. Anda dapat menyesuaikan kategori, jumlah heading, dan tautannya berdasarkan jenis bisnis serta informasi yang paling relevan untuk AI agent, selama mengikuti format Markdown yang sesuai.

Cara Kerja llms.txt

Sederhananya, llms.txt dirancang untuk menjadi panduan bagi AI agent saat mencari informasi dari sebuah website. Berikut alur dan cara kerja llms.txt secara umum: 

• Menemukan file: AI agent akan mengakses website dan menemukan file llms.txt yang tersedia.
• Membaca informasi: AI agent membaca ringkasan serta daftar tautan yang tercantum di dalam file.
• Menelusuri halaman: Dari tautan tersebut, AI agent dapat mengakses halaman yang relevan dengan informasi yang sedang dicari.
• Menggunakan informasi: Konten dari halaman yang relevan kemudian dapat diproses dan digunakan untuk kebutuhan AI agent, termasuk saat menjawab pertanyaan user.

Namun, perlu Anda pahami juga bahwa alur tersebut belum tentu terjadi pada setiap AI agent karena dukungan llms.txt masih terbatas. 

Saat menerapkan llms.txt, belum berarti file tersebut akan otomatis oleh bot LLM. Dengan kata lain, AI search masih lebih banyak mengikuti aturan robots.txt. Jadi, llms.txt belum bisa dipahami sebagai pengganti robots.txt, tetapi sebagai pendekatan yang masih terus berkembang.

Fungsi & Kegunaan llms.txt

Meski belum menjadi standar resmi, llms.txt tetap dapat dipertimbangkan sebagai bagian dari persiapan website untuk lebih beradaptasi dengan perkembangan AI search. Berikut beberapa fungsinya yang bisa dipertimbangkan.

1. Menentukan Konten yang Paling Penting

Menyusun llms.txt mengharuskan Anda memilih halaman yang paling relevan untuk mewakili bisnis. Proses ini dapat membantu tim melihat kembali struktur konten dan menentukan informasi mana yang perlu diprioritaskan.

2. Membuat Informasi Website Lebih Terarah

llms.txt menyediakan ringkasan dan tautan menuju halaman yang dianggap penting dalam satu file yang sederhana. Struktur ini dapat menjadi panduan tambahan bagi AI agent yang mendukung llms.txt saat mencari informasi dari sebuah website.

3. Menjadi Eksperimen Awal AI Search

Perkembangan AI search masih terus berlangsung dan belum semua sistem menggunakan llms.txt. Hal ini karena implementasinya relatif sederhana, file ini dapat digunakan sebagai salah satu eksperimen tambahan dengan memprioritaskan fundamental maupun technical SEO.

4. Mempersiapkan Website di Era Perkembangan AI

Belum ada kepastian apakah AI server akan mengadopsi llms.txt di masa depan. Namun, menyiapkan file ini dapat menjadi salah satu cara agar bisnis Anda tetap beradaptasi dan mengikuti cara AI menemukan dan memproses informasi dari website.

5. Melengkapi Dokumentasi Informasi Website

llms.txt bukan pengganti robots.txt maupun sitemap.xml karena ketiganya memiliki fungsi berbeda. Jika digunakan, llms.txt dapat menjadi dokumentasi tambahan yang merangkum informasi penting dan mengarahkan AI agent ke halaman yang relevan.

Perbedaan llms.txt, robot.txt, dan sitemap.xml

Perbandingan llms.txt vs robots.txt yang paling mendasar terletak pada tujuannya. Secara umum, llms.txt hanya memberi rekomendasi konten tanpa membatasi apa pun, robots.txt mengatur izin akses crawler, dan sitemap.xml bertugas membantu mesin pencari menemukan URL yang di-crawl. 

Berikut tabel ringkasan perbedaan ketiganya secara lebih lengkap:

Ketiga file tersebut tidak bisa saling menggantikan. Jika website menggunakan llms.txt , file ini lebih tepat diposisikan sebagai pelengkap robots.txt dan sitemap.xml, terutama untuk sistem AI yang memang mendukung atau memanfaatkannya.

Apakah llms.txt Dapat Membantu Optimasi GEO & AEO?

llms.txt dapat menjadi elemen pendukung strategi Generative Engine Optimization dan Answer Engine Optimization (AEO) karena sama-sama membahas bagaimana informasi dari website dapat ditemukan dan dipahami oleh sistem AI. 

Namun, keberadaan llms.txt sendiri lebih tepat sebagai pelengkap dan belum terbukti dapat meningkatkan peluang konten untuk dikutip atau menjadi faktor ranking dalam sistem AI. 

Dalam praktiknya, penerapan AEO dan GEO tetap membutuhkan konten yang relevan dengan user, struktur informasi yang jelas, dan sumber informasi tepercaya.

Maka dari itu, jika Anda menerapkan llms.txt, posisikan file ini sebagai bagian kecil dari ekosistem optimasi AI search saja, dan bukan sebagai pengganti strategi konten dan optimasi SEO website yang sudah ada.

Baca juga: Google AI Overview vs Akal Manusia: Siapa Menang?

Cara Membuat File llms.txt

Membuat llms.txt pada dasarnya cukup sederhana dan dapat dilakukan tanpa bantuan developer jika Anda memiliki akses ke file website. Struktur berikut dapat digunakan sebagai panduan awal dan disesuaikan dengan kebutuhan masing-masing website.

• Pilih halaman yang paling relevan: Petakan halaman yang paling representatif untuk menjelaskan mengenai bisnis Anda. Contohnya, halaman tentang brand, layanan, produk, dokumentasi, atau artikel yang menjadi rujukan utama.
• Tulis nama dan ringkasan website: Gunakan H1 untuk mencantumkan nama brand atau website, kemudian tambahkan ringkasan singkat mengenai bisnis dan informasi yang tersedia di dalamnya.
• Kelompokkan tautan berdasarkan topik: Gunakan H2 untuk membagikan tautan ke dalam beberapa kategori. Sertakan deskripsi singkat pada setiap tautan agar konteks halaman lebih mudah dipahami.
• Simpan dengan nama llms.txt: Simpan file menggunakan nama <llms.txt>. Jika menggunakan CMS atau framework tertentu, lokasi dan cara mengunggah file dapat berbeda, sehingga Anda perlu menyesuaikannya dengan konfigurasi website.
• Periksa akses file: Setelah diunggah, pastikan file dapat diakses melalui laman seperti <domainanda.com/llms.txt> Anda dapat membukanya melalui browser untuk memastikan isi file tampil dengan benar.

Cara Mengecek llms.txt

Setelah file diunggah, langkah selanjutnya adalah memastikan file benar-benar terpasang dan bisa diakses publik. Cara paling sederhana untuk mengeceknya adalah dengan membuka langsung URL <domainanda.com/llms.txt> di browser mode anonim, lalu memastikan yang muncul adalah teks biasa, bukan halaman 404 atau redirect ke beranda.

Selain itu, Anda juga bisa menjalankan perintah curl melalui terminal untuk mengecek status HTTP dan content-type file, atau menggunakan tools audit situs untuk melakukan verifikasi, apakah file llms.txt tersebut sudah terdeteksi dengan format yang valid.

Cara Mengukur Performa llms.txt

Karena belum ada metrik resmi untuk mengukur efektivitas llms.txt, performanya dapat dievaluasi melalui beberapa data yang tersedia di website. Beberapa hal yang bisa Anda pantau antara lain:

• Akses AI crawler: Periksa server log untuk melihat apakah bot seperti GPTBot, ClaudeBot, atau PerplexityBot mengakses file llms.txt.
• Traffic dari AI search: Bandingkan traffic yang berasal dari AI search sebelum dan sesudah file diterapkan untuk melihat perubahan yang terjadi.
• Kemunculan brand di AI: Pantau apakah brand atau konten website mulai muncul dalam jawaban AI assistant seperti ChatGPT atau Perplexity untuk kueri yang relevan.
• Pembaruan isi file: Tinjau kembali tautan dan informasi dalam llms.txt secara berkala agar tetap sesuai dengan konten terbaru di website.

Namun, perlu dipahami bahwa perubahan pada traffic atau kemunculan brand di AI assistant tidak dapat secara langsung dianggap sebagai dampak dari llms.txt. Faktor lain seperti kualitas konten, otoritas sumber, struktur website, dan perubahan sistem AI juga dapat memengaruhi hasil tersebut.

Jadi dapat disimpulkan bahwa, llms.txt lebih tepat dipandang sebagai salah satu eksperimen dalam mempersiapkan website untuk menghadapi perkembangan AI search. Agar upaya tersebut berjalan lebih menyeluruh, penerapannya tetap perlu didukung oleh penerapan SEO fundamental yang kuat, kualitas konten, serta optimasi GEO dan AEO yang sesuai dengan kebutuhan bisnis.

Jika Anda ingin mempersiapkan website agar beradaptasi lebih mudah di era AI, cmlabs dapat membantu mengembangkan strategi mulai dari technical SEO, GEO, hingga AEO. 

Dengan pendekatan yang disesuaikan dengan kondisi website dan tujuan bisnis, Anda dapat membangun fondasi search visibility yang tidak hanya bergantung pada satu pendekatan.

Untuk menavigasi dan mengoptimasi bisnis agar lebih mudah disitasi, disebut, dan menjadi rekomendasi AI, gunakan Jasa AI Search Optimization (GEO/AEO) dari cmlabs. 

Hubungi kami dan beri tahu kami kebutuhan serta tantangan bisnis Anda lebih dalam. 

Baca juga: Apa Itu AEO? Panduan Lengkap Optimalkan Bisnis di Era AI Search