GPTBot'u engellemeli miyim: eğitim, arama ve kullanıcı botu için üç ayrı karar

“GPTBot’u engellemeli miyim” sorusu yanlış kurulmuş bir sorudur, çünkü tek bir bot yok. OpenAI dört ajan listeliyor, Perplexity iki, Anthropic üç; her birinin işi farklı ve her biri ayrı ayarlanıyor. Tek satırla hepsini kapatan bir site, içeriğini model eğitiminden çıkarırken ChatGPT ve Perplexity aramalarından da çıkar ve bunu Search Console’da hiçbir zaman görmez.

Bu yazı GEO ve AEO Danışmanlığı sayfasındaki bot tablosunun gerekçesi. Orada her bot için tek kelimelik önerim var; burada üç bot türünü, her biri için ayrı kararı ve kararı verdikten sonra nasıl doğrulayacağınızı yazdım. Kaynak, üç üreticinin kendi dokümanları; yorum benim.

Kendi kurduğum sitelerde arama ve kullanıcı botlarını açık tutuyor, eğitim botlarını da müşteri aksini istemedikçe açık bırakıyorum. Bunun gerekçesi aşağıda; sizin kararınız farklı olabilir, ama üç satırda verilmesi gerekir, tek satırda değil.

Yapay zekâ botları neden üç türdür?

Yapay zekâ üreticileri botlarını işe göre ayırıyor: eğitim için tarayan, arama için tarayan ve kullanıcı sorduğunda sayfayı açan. Üç tür üç ayrı robots.txt adı taşır, üç ayrı karar gerektirir.

OpenAI’nin tarayıcı dokümanı bu ayrımı en açık yazan kaynak. GPTBot, üretken modellerin eğitiminde kullanılabilecek içeriği tarar; engellemek “içeriğim eğitimde kullanılmasın” demektir. OAI-SearchBot, siteleri ChatGPT’nin arama özelliklerinde göstermek için tarar; engellenen site arama cevaplarında gösterilmez. ChatGPT-User ise kullanıcı bir soru sorduğunda sayfayı açan bottur; otomatik tarama yapmaz ve isteği kullanıcı başlattığı için robots.txt kuralları uygulanmayabilir. Doküman “her ayar diğerinden bağımsız” diyor ve robots.txt değişikliğinin arama tarafına yansımasının yaklaşık 24 saat sürebileceğini ekliyor. Dokümandaki dördüncü ajan OAI-AdsBot yalnız ChatGPT’de reklam olarak gönderilen sayfaların güvenliğini denetliyor ve topladığı veri eğitimde kullanılmıyor; bu yazıdaki kararın dışında. Reklam vermek organik cevapta yer almayı da değiştirmiyor; ikisinin farkını ChatGPT reklamı yazısında anlattım.

Perplexity’nin tarayıcı dokümanı aynı yapıyı iki botla kuruyor: PerplexityBot arama sonuçları için tarar ve model eğitimi için kullanılmaz; Perplexity-User kullanıcı sorduğunda sayfayı açar ve genellikle robots.txt’ye uymaz. Anthropic’in tarayıcı dokümanı üçlüyü tamamlıyor: ClaudeBot eğitim, Claude-SearchBot arama, Claude-User kullanıcı isteği.

Google’ın durumu farklı ve sık karıştırılıyor. Google-Extended bir bot değil, bir izin jetonu; Google’ın tarayıcı dokümanına göre yalnız Gemini modellerinin eğitimi ve Gemini uygulamalarındaki temellendirme için kullanılıyor, Google Arama’ya dâhil olmayı etkilemiyor ve sıralama sinyali değil. AI Overviews ve AI Mode’daki görünürlük Googlebot’a, snippet ayarlarına ve 31 Ağustos 2026’dan beri Search Console’daki Arama üretken yapay zekâ kontrolüne bağlı; Google-Extended’ı kapatmak oradan çıkarmaz. O ayarı kimin kapatması gerektiğini Search Console yapay zekâ ayarı yazısında yazdım.

Eğitim botları için karar nasıl verilir?

Eğitim botunu kapatmak bir görünürlük kararı değil, bir içerik politikası kararıdır: içeriğinizin gelecek modellerin eğitiminde kullanılmasını isteyip istemediğiniz. Arama görünürlüğünü etkilemediği için pazarlama gerekçesiyle verilmez.

Koşullu cevap:

• İçeriğiniz özgün ve ticari değer taşıyorsa, örneğin araştırma, veri, ders içeriği ya da yayıncılık, eğitim botlarını kapatmak makul bir tercihtir. Karar hukuk ve marka ekibinin.
• İçeriğiniz hizmet tanıtımı ve rehber yazılarıysa, yani bulunmak için yazılmışsa, eğitim botunu kapatmanın somut bir kazancı yok; modeller markanızı öğrenmesin demektir. Ben bu durumda açık bırakıyorum.
• Karar verilmemişse varsayılan açık kalır; robots.txt’de olmayan bot izinlidir. “Bilmediğim için kapattım” en kötü sonuçtur, çünkü çoğu zaman arama botları da kapanır.

Bu karar üç satırdan yalnız birincisidir ve diğer ikisinden bağımsız verilir.

Arama botları için karar nasıl verilir?

Arama botları açık kalır; kapatmak, o asistanın arama cevaplarından bilerek çıkmaktır. Bunun makul olduğu tek durum, siteye yapay zekâ aramasından hiç ziyaretçi istememenizdir.

OAI-SearchBot, PerplexityBot ve Claude-SearchBot, arama motoru tarayıcısının yapay zekâ karşılığıdır. Google’ı engellemek ne demekse bunları engellemek de odur; farkı, sonucun görünmemesi. Google’dan çıktığınızda Search Console’da tıklama düşer ve bunu görürsünüz. ChatGPT aramasından çıktığınızda Search Console’da hiçbir şey değişmez; düşüşü ancak GA4’ün Yapay Zekâ Asistanı kanalında ve sunucu kaydında, bakarsanız görürsünüz.

Kararın sonrası da önemli. Bot robots.txt’de açık olsa bile sunucu, CDN ya da bot koruma katmanı isteği engelleyebilir. OpenAI ve Perplexity yayınladıkları IP aralıklarından gelen isteklerin engellenmemesini ayrıca istiyor. Sunucu kaydında OAI-SearchBot’un 403 aldığı bir site, robots.txt’de ne yazarsa yazsın kapalıdır. Kendi kurduğum sitelerde bu yüzden botları adıyla izinli yazmayı hedefliyorum ve kaydı ayrıca kontrol ediyorum. Hedef her zaman tutmuyor: 16 Eylül 2026’da dört sitede yapay zekâ botlarının adıyla izinli olduğunu, birinde bot bazlı kural olmadığını yazmıştım; 28 Eylül’de dosyaları yeniden okuyunca o dördün üçünde Anthropic’in Claude-SearchBot ya da Claude-User adı eksik çıktı, yerlerinde eski adlar duruyordu. Bot listesi bir kez yazılıp bırakılmaz; üreticilerin dokümanı değiştikçe yeniden okunur.

Kullanıcı botları için karar nasıl verilir?

Kullanıcı botları, bir kişi asistana soru sorduğunda sayfanızı o an açan botlardır; ChatGPT-User ve Perplexity-User robots.txt ile güvenilir biçimde engellenemez, Claude-User uyar. Karar, sitenin asistan üzerinden okunmasını isteyip istemediğinizdir.

ChatGPT-User, Perplexity-User ve Claude-User otomatik tarama yapmaz. Kullanıcı “şu sitedeki fiyatlar ne” diye sorduğunda sayfayı açar, özetler ve çoğu zaman bağlantı verir. OpenAI kuralların uygulanmayabileceğini, Perplexity kurallara genellikle uyulmadığını yazıyor; çünkü isteği bot değil kişi başlatmıştır. Anthropic ise üç botunun da robots.txt’ye uyduğunu, Claude-User’ı kapatmanın kullanıcı yönlendirmeli aramada görünürlüğü azaltabileceğini yazıyor.

Bu botları kapatmanın anlamlı olduğu durum dar: giriş gerektiren içerik, ücretli arşiv ya da hukuki gerekçe. Hizmet satan bir sitede kapatmak, müşterinin asistana sorduğu soruya cevap olamamaktır. ChatGPT-User ve Perplexity-User kapatılacaksa robots.txt’ye güvenilmez; üreticilerin yayınladığı IP aralıkları sunucu katmanında engellenir. Claude-User için robots.txt yeterli; Anthropic, IP engelinin doğru çalışmayabileceğini ve sitenin dışarıda kalmasını kalıcı olarak güvenceye almadığını yazıyor. İki yolda da sonuç, o asistanın sizi hiç gösterememesidir.

Kararı verdikten sonra nasıl doğrularsınız?

Karar robots.txt’de yazılır, sunucu kaydında doğrulanır. İkisi arasında fark varsa geçerli olan kayıttır.

Sırayla:

1. robots.txt’yi bot adıyla yazın. Genel * grubundaki kurallar diğer gruplara geçmez; her bot için ayrı grup açın ve her grupta kapatmak istediğiniz yolu tekrar yazın. Tek satırlık Disallow: / ile bütün botları kapatan dosya, arama botlarını da kapatır.
2. Değişikliği bir gün bekleyin. OpenAI, arama tarafının robots.txt güncellemesine yaklaşık 24 saatte uyum sağladığını yazıyor.
3. Sunucu kaydında botları arayın. Son 30 günde GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Claude-SearchBot ve Claude-User isteklerini ve aldıkları cevap kodunu listeleyin. 200 açık, 403 kapalı demektir.
4. Sahte botları ayıklayın. Bot adı taklit edilebilir; OpenAI, Perplexity ve Anthropic IP aralıklarını yayınlıyor. Sayılan isteklerin o aralıklardan geldiğini kontrol edin.
5. Güvenlik katmanına bakın. CDN ya da bot koruması “yapay zekâ botlarını engelle” gibi tek tuşlu bir ayar sunuyorsa, o ayar robots.txt’nizi geçersiz kılar. Kapalıysa açın ya da bot bazlı yapın.
6. Üç satırı yazılı hâle getirin. Eğitim, arama, kullanıcı; her biri için karar, tarih ve gerekçe. Altı ay sonra kimse neden kapalı olduğunu hatırlamaz.

Bu altı adımın çıktısı bir sayfalık bir tablo; ajansınız “botları açtık” dediğinde bakılacak şey o tablo ve kayıttır. Görünürlüğün kendisini, yani markanın cevaplarda geçip geçmediğini ise kayıttan değil araçlara sorulan sorulardan okuyorum; yöntemi Görünürlük Denetimi sayfasında anlattım. llms.txt dosyasını hangi botun okuduğunun nasıl ölçüleceğini, yani dosyanın bu tabloyla ilişkisini, ayrı bir yazıda anlattım.

Botları kapatmak kolay, sonucunu görmek zor. Bu yüzden karar üç satırda verilir ve her satırın yanına kayıttan bir kanıt konur; kanıt yoksa karar değil, tahmindir.