Rehber · GEO ve AEO Danışmanlığı
llms.txt işe yarıyor mu: kim öneriyor, Google ne diyor, sunucu kaydında nasıl ölçülür
llms.txt, sitenin özetini yapay zekâ araçlarına Markdown olarak sunmayı öneren 2024 tarihli bir teklif; Google, AI Overviews ve AI Mode için böyle bir dosyanın gerekmediğini yazıyor. Dosyanın işe yarayıp yaramadığını iddia değil, sunucu kaydındaki bot istekleri gösterir; ölçüm düzenini ve dört sitede neyi nasıl kurduğumu yazdım.
- Yayın
- Güncelleme
- Yazan
Ali Bardız- Okuma
- 8 dk
llms.txt konusunda iki şey aynı anda doğru. Birincisi: Yapay zekâ görünürlüğü satan hemen herkes “ekleyin” diyor ve dosyayı bir kaldıraç gibi anlatıyor. İkincisi: Google, kendi yapay zekâ özellikleri için böyle bir dosyanın gerekmediğini açıkça yazıyor ve OpenAI, Perplexity ile Anthropic’in bot dokümanlarında tarayıcıların llms.txt okuduğuna dair tek cümle yok. İlginç olan, OpenAI ile Perplexity’nin kendi doküman sitelerinde llms.txt yayınlaması. Bu iki şey arasında kalan soru, dosyayı gerçekten kimin okuduğudur; onu da yalnız sunucu kaydı gösterir.
Ben dosyayı kurduğum sitelere koyuyorum, ama görünürlüğü onun getirdiğini düşünmüyorum. Bunu GEO ve AEO Danışmanlığı sayfasında bir cümleyle söyledim; bu yazı o cümlenin gerekçesi. Dosyanın ne vaat ettiğini, hangi botun ne yaptığını, kendi sitelerimde ne yaptığımı ve işe yarayıp yaramadığını kayıtla nasıl ölçeceğinizi yazdım. Ölçüm düzeni, verisi elinde olan herkesin bir saatte tekrarlayabileceği kadar basit.
Bir dürüstlük notu: Bu yazı bir sonuç yazısı değil, bir ölçüm yazısı. Doksan günlük kayıt sayımını bitirdiğimde rakamlar bu sayfaya girecek; ne çıkarsa çıksın, “hiçbir bot okumadı” dâhil.
llms.txt ne vaat ediyor, kim öneriyor?
llms.txt, sitenin özetini ve önemli sayfalarını yapay zekâ araçlarına Markdown biçiminde sunmayı öneren, 2024 tarihli bir tekliftir. Standart değil; hiçbir büyük üretici, tarayıcısının dosyayı okuduğunu resmî olarak yazmış değil.
Teklif llmstxt.org adresinde duruyor: Sitenin kökünde llms.txt adlı bir Markdown dosyası, başlıkla sitenin kim olduğunu, listeyle önemli sayfaları ve isteğe bağlı llms-full.txt ile sayfaların tam metnini verir. Gerekçe makul: Yapay zekâ araçları HTML’i ayıklamak yerine temiz metin okusun. Sorun, gerekçenin makul olmasıyla araçların dosyayı gerçekten okumasının aynı şey olmaması.
Öneriyi kim yayıyor? Çoğunlukla dosyayı üreten araçlar ve yapay zekâ görünürlüğü satan ajanslar. Bu bir suçlama değil, bir bağlam: Dosyayı ekleyen tarafın, dosyanın işe yaradığını göstermeye ihtiyacı var. Bu yüzden “işe yarıyor mu” sorusunun cevabı onlardan değil, iki yerden alınmalı: yapay zekâ üreticilerinin kendi dokümanlarından ve sizin sunucunuzun kaydından.
Google ve yapay zekâ üreticileri ne diyor?
Google, AI Overviews ve AI Mode için ek bir şart ya da yeni bir makine okunur dosya gerekmediğini yazıyor. OpenAI, Perplexity ve Anthropic’in tarayıcı dokümanları llms.txt’nin okunduğunu hiç yazmıyor.
Google’ın yapay zekâ özellikleri dokümanı net: AI Overviews ya da AI Mode’da destekleyici bağlantı olarak görünmek için sayfanın dizine girmiş ve snippet’la gösterilmeye uygun olması gerekiyor; ek teknik koşul yok. Aynı doküman bu özelliklerden gelen tıklamaların Search Console’da genel web araması içinde sayıldığını da yazıyor. Bu özelliklerden bütünüyle çıkmanın yolu da bir dosya değil, Search Console’daki ayar; kimin için mantıklı olduğunu AI Overviews’dan çıkmak üzerine yazdığım yazıda anlattım.
Diğer üç üreticinin dokümanları botları ayırıyor; bu ayrım llms.txt tartışmasından daha önemli, çünkü hangi kararı vereceğinizi belirliyor.
| Bot | Sahibi | Ne yapar | robots.txt’ye uyar mı |
|---|---|---|---|
| GPTBot | OpenAI | Model eğitimi için tarar | Evet |
| OAI-SearchBot | OpenAI | ChatGPT aramasında siteyi göstermek için tarar | Evet |
| ChatGPT-User | OpenAI | Kullanıcı sorduğunda sayfayı açar | Uymayabilir |
| PerplexityBot | Perplexity | Perplexity aramasında siteyi göstermek için tarar; eğitim için değil | Evet |
| Perplexity-User | Perplexity | Kullanıcı sorduğunda sayfayı açar | Genellikle uymaz |
| ClaudeBot | Anthropic | Model eğitimi için tarar | Evet |
| Claude-SearchBot | Anthropic | Arama sonuçlarını iyileştirmek için tarar | Evet |
| Claude-User | Anthropic | Kullanıcı sorduğunda sayfayı açar | Evet |
| Google-Extended | Gemini eğitimi ve temellendirme için izin jetonu; Arama’yı etkilemez | Evet |
Tablodaki bilgiler OpenAI, Perplexity ve Anthropic dokümanlarından; Google-Extended satırı Google’ın tarayıcı dokümanından. OpenAI ve Anthropic aynı yapıyı kuruyor: bir eğitim botu, bir arama botu, bir kullanıcı botu; Perplexity’de eğitim botu yok, arama ve kullanıcı botu var. OpenAI’nin dokümanındaki dördüncü ajan OAI-AdsBot yalnız ChatGPT’de reklam olarak gönderilen sayfaları denetliyor, bu tablonun dışında. Eğitim botunu kapatmak arama görünürlüğünü etkilemiyor; OpenAI bunu “her ayar bağımsız” diye yazıyor ve robots.txt değişikliğinin arama tarafına yansımasının yaklaşık 24 saat sürebileceğini ekliyor.
Bu tablonun llms.txt’yle ilgisi şu: Kullanıcı botları, yani ChatGPT-User, Perplexity-User ve Claude-User, kullanıcı bir soru sorduğunda sayfayı o an açan botlar. Bir asistan sitenizi özetlerken llms.txt’yi okuyacaksa bunu büyük ihtimalle bu botlarla yapar; arama botları ise sayfaların kendisini tarar. Kayıtta bakılacak ilk yer bu yüzden kullanıcı botlarının llms.txt istekleridir.
Kendi sitelerimde ne yaptım?
Kurduğum beş sitenin dördünde llms.txt var ve o dördünde yapay zekâ botlarının çoğu robots.txt’de adıyla izinli. Dosyayı maliyeti sıfıra yakın olduğu için koydum; işe yaradığını göstermek için değil.
16 Eylül 2026’da her sitenin robots.txt ve llms.txt adreslerini tek tek istedim; aşağıdaki tablonun llms.txt sütunu o günün cevabı, robots.txt sütununu ise 28 Eylül’de dosyaları yeniden okuyarak düzelttim.
| Site | llms.txt | robots.txt’de yapay zekâ botları |
|---|---|---|
| Vinç kiralama (Doğu Vinç) | Var; 18 KB, altı bölüm dosyası ve 451 KB’lık llms-full.txt | 19 bot tek tek izinli, yalnız derleme klasörü kapalı |
| Araç kiralama (İremtur) | Var | GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Claude-SearchBot, Google-Extended izinli; Claude-User adıyla yok |
| Dövme stüdyosu | Var | Claude-SearchBot dışında aynı liste izinli, Claude-User adıyla yok; yönetim yolları ve soru işaretli adresler yalnız genel * grubunda kapalı |
| Tel çit ve panel çit firması | Var | Claude-SearchBot dışında aynı liste izinli, Claude-User adıyla yok; yönetim ve geçici klasör yalnız genel * grubunda kapalı |
| E-ticaret (Shine Nore) | Yok | Genel izin; bot bazlı kural yok |
Doğu Vinç’te en ileri gittim, çünkü site en yeni ve en çok sayfalı olan: İş tipi, bölge, araç ve rehber katmanlarında 56 sayfanın metni altı bölüm dosyasına ayrıldı; tek dosyayı okuyamayan araç bölümü okusun diye. Bunu Doğu Vinç vakasında anlattım ve orada da aynı şeyi yazdım: Dosya bir kaldıraç değil, maliyetsiz bir kapı.
Dört sitenin ortak noktası robots.txt: Yapay zekâ botlarının çoğu adıyla listelenmiş ve izinli; beşincisinde bot bazlı kural yok, genel izin var. Bunu bilinçli yapıyorum, çünkü bazı sunucu ve güvenlik ayarları bu botları robots.txt’den bağımsız engelliyor ve o zaman llms.txt tartışması anlamsızlaşıyor; dosya var ama kapıya gelen bot içeri giremiyor. Liste yine de her sitede aynı değil: 28 Eylül’de üç sitede Anthropic’in Claude-SearchBot ya da Claude-User adı eksikti, yerlerinde Anthropic’in bugünkü dokümanında geçmeyen eski adlar (Claude-Web, anthropic-ai) duruyordu. Dövme stüdyosu ile tel çit sitesinde yönetim yollarını kapatan satırlar da yalnız genel * grubunda; adıyla açılan bot grupları onları devralmıyor. GPTBot ve öteki botlar için engelleme kararını nasıl verdiğimi ayrı bir yazıda yazdım.
İşe yarayıp yaramadığı nasıl ölçülür?
llms.txt’nin işe yarayıp yaramadığı iddiayla değil, sunucu erişim kaydındaki isteklerle ölçülür: hangi bot, kaç kez, hangi dosyayı istemiş. Search Console ve GA4 bu istekleri göstermez; tek kaynak kayıttır.
Ölçüm düzeni şu; verisi elinde olan herkes bir saatte tekrarlayabilir:
- Son 90 günün erişim kaydını alın. Plesk’te alan adının Loglar bölümünden, cPanel’de Raw Access’ten, HestiaCP’de alan adının log simgesinden; sunucuya erişiminiz varsa doğrudan
access_logdosyalarından. Sıkıştırılmış günlük dosyalar varsa hepsini tek dosyada birleştirin. - Bot satırlarını süzün. Her satırda isteği yapan tarafın adı yazar. Aranacak adlar tablodaki ilk sekiz bot; büyük küçük harfe dikkat etmeden arayın. Google-Extended bir izin jetonu, Google’ın dokümanına göre ayrı bir kullanıcı aracısı yok ve kayıtta bu adla görünmez.
- Dosyaya göre ayırın. Aynı bot için üç sayı:
llms.txtistekleri,robots.txtistekleri, sayfa istekleri. Üçü yan yana konmadan dosyanın payı görünmez. - Kullanıcı botlarını ayrı okuyun. ChatGPT-User, Perplexity-User ve Claude-User istekleri, bir kullanıcının o an sorduğu soruya karşılık gelir; bunların llms.txt’ye uğrayıp uğramadığı asıl sorudur.
- Sahte botları eleyin. Bot adı taklit edilebilir. OpenAI, Perplexity ve Anthropic yayınladıkları IP aralıklarını doküman sayfalarında veriyor; sayılan isteklerin o aralıklardan geldiğini kontrol edin.
- Tabloyu doldurun ve tarih yazın. Bot, dosya, istek sayısı, ilk ve son istek tarihi. Doksan gün sonra aynı tabloyu yeniden doldurun; fark, dosyanın hayatta olup olmadığıdır.
Sonuç tablosunun boş hâli şöyle; kendi sitenizde bunu doldurmanız yeter:
| Bot | llms.txt istekleri | robots.txt istekleri | Sayfa istekleri | İlk ve son istek |
|---|---|---|---|---|
| OAI-SearchBot | ||||
| ChatGPT-User | ||||
| GPTBot | ||||
| PerplexityBot | ||||
| Perplexity-User | ||||
| Claude-SearchBot | ||||
| Claude-User | ||||
| ClaudeBot |
Apache biçimindeki bir kayıtta üçüncü adım tek komutla çıkar; dosya adını ve bot adını değiştirerek her hücreyi doldurabilirsiniz:
grep -i "llms.txt" access_log | grep -i -c "OAI-SearchBot"
Bu veriden ne çıkar, ne çıkmaz?
Kayıt, dosyanın okunup okunmadığını gösterir; alıntılanıp alıntılanmadığını göstermez. İkisi ayrı sorudur ve ikincisi kayıtla değil, araçlara sorulan sorularla ölçülür.
Kayıttan çıkacak üç sonuçtan biri gelir. Hiçbir bot dosyayı istememişse dosya ölüdür; kalsın ya da kalksın, görünürlükle ilgisi yoktur ve bu sonuç yazının vardığı yerdir. Yalnız arama botları istemişse dosya taranmıştır ama bunun cevaplara etkisi kayıttan okunamaz; sayfaların kendisi de tarandığı için dosyanın katkısını ayırmak mümkün değildir. Kullanıcı botları düzenli istemişse dosya bir asistanın sitenizi özetlerken gerçekten açtığı şeydir; o zaman güncel tutulması gerekir, çünkü eski bilgi veren bir özet hiç olmayandan kötüdür.
Üçüncü durumda bile dosya sıralama ya da alıntılanma sağlamaz; okunmayı sağlar. Alıntılanma, Google’ın da yazdığı gibi, dizine girmiş ve soruya doğrudan cevap veren sayfadan gelir. Markanın ChatGPT, Gemini ve Perplexity cevaplarında geçip geçmediğini ise aynı soruları her ay aynı araçlarda sorarak ölçüyorum; o yöntemi Görünürlük Denetimi sayfasında ve kendi markam için tuttuğum tabloyla anlattım.
Kararım: Dosya kalsın mı?
Kalsın, iki koşulla: güncel tutulabiliyorsa ve ondan görünürlük beklenmiyorsa. Koşullardan biri yoksa dosya yalnız bir bakım kalemidir.
Koşullu cevap:
- Siteniz sık değişiyorsa ve dosya elle yazılıyorsa eklemeyin ya da otomatik üretin. Üç ay önceki hizmet listesini veren bir llms.txt, asistanın yanlış özet kurmasına yol açar.
- Sitenin gerçek bir özeti varsa ve otomatik üretiliyorsa ekleyin; maliyet sıfıra yakın, olası kazanç okunmak.
- Bir ajans size llms.txt’yi ayrı bir kalem olarak satıyorsa kalemin çıktısını sorun: dosyanın okunduğunu gösteren kayıt ve dosyanın güncel kalmasını sağlayan düzen. İkisi yoksa kalem boştur; bunu SEO teklifi yazısında GEO paketi başlığında da yazdım.
- Sunucu ya da güvenlik katmanı botları engelliyorsa önce onu açın; dosya kapalı kapının arkasında durur.
Dosyanın kendisi bir saatlik iş. Onun etrafındaki iddiaların doğru okunması, saatlerce reklam bütçesi ve aylarca yanlış beklenti kurtarır. Sonuç tablosu doksan gün sonra bu sayfada; boş çıkarsa boş yazacağım.
Sık sorulan sorular
llms.txt'yi siteme eklemeli miyim?
Maliyeti sıfıra yakınsa evet, ama görünürlük beklemeden. Dosya bir öneri; Google, AI Overviews ve AI Mode için gerekmediğini açıkça yazıyor, OpenAI ve Perplexity'nin bot dokümanları da tarayıcılarının llms.txt okuduğunu yazmıyor. Sitenizin gerçek bir özeti varsa ve dosyayı güncel tutabiliyorsanız ekleyin; güncel tutamayacaksanız eski bilgi veren bir dosya, hiç olmayandan kötü.
llms.txt'yi kaldırmalı mıyım?
Sunucu kaydında hiçbir bot dosyayı istemiyorsa ve dosya güncel değilse kaldırılabilir; zarar vermez ama işe de yaramaz. Kayıtta ChatGPT-User ya da Perplexity-User gibi kullanıcı tetikli botlar dosyayı düzenli istiyorsa kalsın; o zaman dosya bir asistanın sitenizi özetlerken gerçekten okuduğu şeydir. Karar kayıtla verilir, tahminle değil.
robots.txt'de GPTBot'u engellemek ChatGPT'de görünmeyi bitirir mi?
Hayır. OpenAI'nin dokümanına göre GPTBot model eğitimi için tarar; ChatGPT aramasında görünmeyi OAI-SearchBot belirler ve kullanıcı sorusuyla tetiklenen ChatGPT-User robots.txt kurallarına uymayabilir. GPTBot'u kapatıp OAI-SearchBot'u açık bırakabilirsiniz; ikisi ayrı ayarlanır. Aynı ayrım Anthropic'te ClaudeBot ile Claude-SearchBot, Perplexity'de PerplexityBot ile Perplexity-User arasında var.
llms-full.txt farkı ne?
llms.txt sitenin haritası ve kısa özetidir; llms-full.txt bütün sayfaların metnini tek dosyada verir. Doğu Vinç'te llms.txt 18 KB, llms-full.txt 451 KB. Büyük dosya tek istekte okunamayabileceği için bölüm bölüm altı ayrı dosya da var. İkisinin de okunup okunmadığı aynı yöntemle, sunucu kaydındaki isteklerle ölçülür.
Botların llms.txt'yi okuyup okumadığını nereden anlarım?
Sunucu erişim kaydından. Plesk'te Loglar, cPanel'de Raw Access, HestiaCP'de alan adının log bölümünden ya da doğrudan access_log dosyasından son 90 günü alın ve dosya adına göre süzün; her satırda isteği yapan botun adı yazar. GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Claude-SearchBot ve Claude-User'ı ayrı ayrı sayın. Search Console ve GA4 bu istekleri göstermez; tek kaynak kayıttır.
ChatGPT'de sitemin görünmesi için llms.txt'den başka ne gerekir?
OpenAI'nin dokümanına göre ChatGPT aramasında görünmek için OAI-SearchBot'un robots.txt'de izinli olması ve yayınlanan IP aralıklarından gelen isteklerin engellenmemesi gerekiyor. Onun üstüne gelen şey klasik SEO: dizine girmiş, soruya doğrudan cevap veren, hızlı sayfalar. Google da AI Overviews ve AI Mode için ek bir şart olmadığını yazıyor. llms.txt bu listenin hiçbir yerinde geçmiyor.
Aynı ana sayfayı destekleyen
GEO ve AEO Danışmanlığı üzerine diğer yazılar
GEO ve AEO DanışmanlığıAI Overviews'dan çıkmalı mısınız? Search Console'daki ayar
Çoğu işletme için cevap hayır; kapatmadan önce ölçün
Search Console'daki yeni ayar sitenizi AI Overviews ve AI Mode'dan çıkarabiliyor. Ne yaptığını, ne yapmadığını ve kimin kapatması gerektiğini yazdım.
6 bölüm · 6 soru · ~6 dk
Yazıyı oku
GEO ve AEO DanışmanlığıGPTBot'u engellemeli miyim? Üç bot türü, üç ayrı karar
Tek satırla hepsini kapatan, aramadan da çıkar; karar bot türüne göre verilir
GPTBot'u kapatmak ChatGPT'de görünmeyi bitirmez; üreticiler eğitim, arama ve kullanıcı için ayrı botlar kullanıyor. Üç bot türü için üç kararı yazdım.
5 bölüm · 6 soru · ~6 dk
Yazıyı oku