GPTBot'u engellemeli miyim: eğitim, arama ve kullanıcı botu için üç ayrı karar

“GPTBot’u engellemeli miyim” sorusu yanlış kurulmuş bir sorudur, çünkü tek bir bot yok. OpenAI üç bot kullanıyor, Perplexity iki, Anthropic üç; her birinin işi farklı ve her biri ayrı ayarlanıyor. Tek satırla hepsini kapatan bir site, içeriğini model eğitiminden çıkarırken ChatGPT ve Perplexity aramalarından da çıkar ve bunu Search Console’da hiçbir zaman görmez.

Bu yazı GEO ve AEO Danışmanlığı sayfasındaki bot tablosunun gerekçesi. Orada her bot için tek kelimelik önerim var; burada üç bot türünü, her biri için ayrı kararı ve kararı verdikten sonra nasıl doğrulayacağınızı yazdım. Kaynak, üç üreticinin kendi dokümanları; yorum benim.

Kendi kurduğum sitelerde arama ve kullanıcı botlarını açık tutuyor, eğitim botlarını da müşteri aksini istemedikçe açık bırakıyorum. Bunun gerekçesi aşağıda; sizin kararınız farklı olabilir, ama üç satırda verilmesi gerekir, tek satırda değil.

Yapay zekâ botları neden üç türdür?

Yapay zekâ üreticileri botlarını işe göre ayırıyor: eğitim için tarayan, arama için tarayan ve kullanıcı sorduğunda sayfayı açan. Üç tür üç ayrı robots.txt adı taşır, üç ayrı karar gerektirir.

OpenAI’nin tarayıcı dokümanı bu ayrımı en açık yazan kaynak. GPTBot, üretken modellerin eğitiminde kullanılabilecek içeriği tarar; engellemek “içeriğim eğitimde kullanılmasın” demektir. OAI-SearchBot, siteleri ChatGPT’nin arama özelliklerinde göstermek için tarar; engellenen site arama cevaplarında gösterilmez. ChatGPT-User ise kullanıcı bir soru sorduğunda sayfayı açan bottur; otomatik tarama yapmaz ve isteği kullanıcı başlattığı için robots.txt kuralları uygulanmayabilir. Doküman “her ayar diğerinden bağımsız” diyor ve robots.txt değişikliğinin arama tarafına yansımasının yaklaşık 24 saat sürebileceğini ekliyor.

Perplexity’nin dokümanı aynı yapıyı iki botla kuruyor: PerplexityBot arama sonuçları için tarar ve model eğitimi için kullanılmaz; Perplexity-User kullanıcı sorduğunda sayfayı açar ve genellikle robots.txt’ye uymaz. Anthropic’in dokümanı üçlüyü tamamlıyor: ClaudeBot eğitim, Claude-SearchBot arama, Claude-User kullanıcı isteği.

Tür	OpenAI	Perplexity	Anthropic	Engellemenin sonucu
Eğitim	GPTBot	Yok	ClaudeBot	İçerik model eğitiminde kullanılmaz; arama görünürlüğü değişmez
Arama	OAI-SearchBot	PerplexityBot	Claude-SearchBot	Site o asistanın arama cevaplarından çıkar
Kullanıcı	ChatGPT-User	Perplexity-User	Claude-User	Asistan kullanıcıya sayfanızı açamaz; kural her zaman uygulanmaz

Google’ın durumu farklı ve sık karıştırılıyor. Google-Extended bir bot değil, bir izin jetonu; Google’ın tarayıcı dokümanına göre yalnız Gemini modellerinin eğitimi ve Gemini uygulamalarındaki temellendirme için kullanılıyor, Google Arama’ya dahil olmayı etkilemiyor ve sıralama sinyali değil. AI Overviews ve AI Mode’daki görünürlük Googlebot’a ve snippet ayarlarına bağlı; Google-Extended’ı kapatmak oradan çıkarmaz.

Eğitim botları için karar nasıl verilir?

Eğitim botunu kapatmak bir görünürlük kararı değil, bir içerik politikası kararıdır: içeriğinizin gelecek modellerin eğitiminde kullanılmasını isteyip istemediğiniz. Arama görünürlüğünü etkilemediği için pazarlama gerekçesiyle verilmez.

Koşullu cevap:

• İçeriğiniz özgün ve ticari değer taşıyorsa, örneğin araştırma, veri, ders içeriği ya da yayıncılık, eğitim botlarını kapatmak makul bir tercihtir. Karar hukuk ve marka ekibinin.
• İçeriğiniz hizmet tanıtımı ve rehber yazılarıysa, yani bulunmak için yazılmışsa, eğitim botunu kapatmanın somut bir kazancı yok; modeller markanızı öğrenmesin demektir. Ben bu durumda açık bırakıyorum.
• Karar verilmemişse varsayılan açık kalır; robots.txt’de olmayan bot izinlidir. “Bilmediğim için kapattım” en kötü sonuçtur, çünkü çoğu zaman arama botları da kapanır.

Bu karar üç satırdan yalnız birincisidir ve diğer ikisinden bağımsız verilir.

Arama botları için karar nasıl verilir?

Arama botları açık kalır; kapatmak, o asistanın arama cevaplarından bilerek çıkmaktır. Bunun makul olduğu tek durum, siteye yapay zekâ aramasından hiç ziyaretçi istememenizdir.

OAI-SearchBot, PerplexityBot ve Claude-SearchBot, arama motoru tarayıcısının yapay zekâ karşılığıdır. Google’ı engellemek ne demekse bunları engellemek de odur; farkı, sonucun görünmemesi. Google’dan çıktığınızda Search Console’da tıklama düşer ve bunu görürsünüz. ChatGPT aramasından çıktığınızda hiçbir panelde hiçbir şey değişmez; kayıp sessizdir.

Kararın sonrası da önemli. Bot robots.txt’de açık olsa bile sunucu, CDN ya da bot koruma katmanı isteği engelleyebilir. OpenAI ve Perplexity yayınladıkları IP aralıklarından gelen isteklerin engellenmemesini ayrıca istiyor. Sunucu kaydında OAI-SearchBot’un 403 aldığı bir site, robots.txt’de ne yazarsa yazsın kapalıdır. Kendi kurduğum sitelerde bu yüzden her botu adıyla izinli yazıyorum ve kaydı ayrıca kontrol ediyorum; 16 Eylül 2026’da dört sitede yapay zekâ botları adıyla izinliydi, birinde bot bazlı kural yoktu.

Kullanıcı botları için karar nasıl verilir?

Kullanıcı botları, bir kişi asistana soru sorduğunda sayfanızı o an açan botlardır; robots.txt ile güvenilir biçimde engellenemezler. Karar, sitenin bir asistan üzerinden okunmasını isteyip istemediğinizdir.

ChatGPT-User, Perplexity-User ve Claude-User otomatik tarama yapmaz. Kullanıcı “şu sitedeki fiyatlar ne” diye sorduğunda sayfayı açar, özetler ve çoğu zaman bağlantı verir. OpenAI kuralların uygulanmayabileceğini, Perplexity genellikle uyulmadığını yazıyor; çünkü isteği bot değil kişi başlatmıştır. Anthropic ise Claude-User’ın engellenebileceğini ve engellemenin kullanıcı yönlendirmeli aramada görünürlüğü azaltabileceğini yazıyor.

Bu botları kapatmanın anlamlı olduğu durum dar: giriş gerektiren içerik, ücretli arşiv ya da hukuki gerekçe. Hizmet satan bir sitede kapatmak, müşterinin asistana sorduğu soruya cevap olamamaktır. Kapatılacaksa robots.txt’ye güvenilmez; üreticilerin yayınladığı IP aralıkları sunucu katmanında engellenir ve bu, o asistanın sizi hiç gösterememesi demektir.

Kararı verdikten sonra nasıl doğrularsınız?

Karar robots.txt’de yazılır, sunucu kaydında doğrulanır. İkisi arasında fark varsa geçerli olan kayıttır.

Sırayla:

1. robots.txt’yi bot adıyla yazın. Genel * grubundaki kurallar diğer gruplara geçmez; her bot için ayrı grup açın ve her grupta kapatmak istediğiniz yolu tekrar yazın. Tek satırlık Disallow: / ile bütün botları kapatan dosya, arama botlarını da kapatır.
2. Değişikliği bir gün bekleyin. OpenAI, arama tarafının robots.txt güncellemesine yaklaşık 24 saatte uyum sağladığını yazıyor.
3. Sunucu kaydında botları arayın. Son 30 günde GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Claude-SearchBot ve Claude-User isteklerini ve aldıkları cevap kodunu listeleyin. 200 açık, 403 kapalı demektir.
4. Sahte botları ayıklayın. Bot adı taklit edilebilir; OpenAI ve Perplexity IP aralıklarını yayınlıyor. Sayılan isteklerin o aralıklardan geldiğini kontrol edin.
5. Güvenlik katmanına bakın. CDN ya da bot koruması “yapay zekâ botlarını engelle” gibi tek tuşlu bir ayar sunuyorsa, o ayar robots.txt’nizi geçersiz kılar. Kapalıysa açın ya da bot bazlı yapın.
6. Üç satırı yazılı hale getirin. Eğitim, arama, kullanıcı; her biri için karar, tarih ve gerekçe. Altı ay sonra kimse neden kapalı olduğunu hatırlamaz.

Bu altı adımın çıktısı bir sayfalık bir tablo; ajansınız “botları açtık” dediğinde bakılacak şey o tablo ve kayıttır. Görünürlüğün kendisini, yani markanın cevaplarda geçip geçmediğini ise kayıttan değil araçlara sorulan sorulardan okuyorum; yöntemi Görünürlük Denetimi sayfasında anlattım. llms.txt’nin bu tabloyla ilişkisini, yani dosyayı hangi botun okuduğunu, ayrı bir yazıda ele aldım.

Botları kapatmak kolay, sonucunu görmek zor. Bu yüzden karar üç satırda verilir ve her satırın yanına kayıttan bir kanıt konur; kanıt yoksa karar değil, tahmindir.