llms.txt ve Yapay Zekâ Botları: Sitenizi Yapay Zekâ Aramasına Hazırlamak

Sitenizi yapay zekâ aramasına hazırlamak üç katmanlı bir iştir: robots.txt ile hangi yapay zekâ botunun neye erişeceğine karar vermek, yapılandırılmış veriyle içeriğinizi makinelerin yorumlayabileceği netlikte tarif etmek ve isterseniz llms.txt ile modellere derli toplu bir site özeti sunmak. Bu üçünden yalnızca ilk ikisi yerleşik pratiklerdir; llms.txt ise henüz bir öneri aşamasındadır ve her motorun okuduğu bir dosya değildir.

ChatGPT, Gemini, Perplexity ve Google AI Overviews gibi yanıt motorları web'i farklı amaçlarla tarayan farklı botlar kullanıyor. Bir kısmı model eğitimi için veri topluyor, bir kısmı arama dizini oluşturuyor, bir kısmı da kullanıcı soru sorduğu anda sayfanızı canlı olarak açıyor. Hangisine kapı açtığınız, hangisini engellediğiniz doğrudan görünürlüğünüzü etkiliyor. Bu yazıda sahada uyguladığımız kontrol listesini paylaşıyoruz.

Yapay zekâ botları sitenizde ne yapıyor?

Klasik arama motoru botu sayfanızı dizine ekler ve sıralar. Yapay zekâ tarafında ise tek bir bot yok; şirketler botlarını görevine göre ayırıyor. Bu ayrımı bilmek, "yapay zekâya kapıyı kapatalım mı?" sorusunu doğru sormanızı sağlar.

• Eğitim botları: İçeriği büyük dil modellerinin eğitimi için toplar. Engellemek, içeriğinizin gelecekteki model sürümlerinde kullanılmasını sınırlar; arama sonuçlarındaki görünürlüğünüzü ise tek başına belirlemez.
• Arama ve dizin botları: Yanıt motorunun kendi arama dizinini besler. Bunları engellerseniz motorun güncel yanıtlarda sizi kaynak göstermesi zorlaşır.
• Kullanıcı adına çalışan botlar: Bir kullanıcı sohbet içinde bir bağlantıyı açmak istediğinde ya da soru güncel bilgi gerektirdiğinde sayfayı o anda getirir.

Kısacası eğitimden çıkmak ile aramadan çıkmak aynı şey değil. Birçok marka ilkini tercih edip ikincisini açık bırakıyor; çünkü SEO, SEM ve GEO stratejisinin amacı tam olarak bu yanıtlarda kaynak olarak görünmek.

robots.txt ile GPTBot, ClaudeBot ve diğer botları yönetmek

robots.txt, sitenizin kök dizininde duran ve botlara hangi yolları tarayabileceklerini söyleyen düz metin dosyasıdır. Yaygın yapay zekâ botlarının kullandığı kullanıcı aracısı (user-agent) adları şunlar:

• GPTBot (OpenAI): Model eğitimi için tarama yapar.
• OAI-SearchBot (OpenAI): Sitelerin ChatGPT arama sonuçlarında gösterilmesi için kullanılır. OpenAI bu botun model eğitimi için kullanılmadığını belirtir.
• ChatGPT-User (OpenAI): Bir kullanıcı ChatGPT içinde bir sayfaya ihtiyaç duyduğunda o sayfayı getirir. Kullanıcı tetiklemeli olduğu için OpenAI, robots.txt kurallarının bu isteklere otomatik taramadaki gibi uygulanmayabileceğini belirtir.
• ClaudeBot (Anthropic): Model eğitimi için tarama yapar. Anthropic arama ve kullanıcı istekleri için ayrıca Claude-SearchBot ve Claude-User adlarını kullanır.
• PerplexityBot (Perplexity): Sitelerin Perplexity arama sonuçlarında gösterilmesi için kullanılır. Kullanıcı tetiklemeli istekler için Perplexity-User adı geçer.
• Google-Extended (Google): Ayrı bir tarayıcı değil, robots.txt içinde kullanılan bir kontrol belirtecidir. Googlebot'un taradığı içeriğin Gemini modellerinin eğitiminde ve yanıtların temellendirilmesinde (grounding) kullanılıp kullanılmayacağını belirler. Google Arama'daki sıralamanızı ya da AI Overviews'ta yer almanızı etkilemez; onlar normal Googlebot kurallarına bağlıdır.

Örneğin eğitim botlarını kapatıp arama botlarını açık bırakmak isteyen bir site şu mantıkla ilerler: GPTBot, ClaudeBot ve Google-Extended için Disallow: /, OAI-SearchBot, Claude-SearchBot ve PerplexityBot için Allow: /. Yönetim paneli, sepet ve kişisel hesap sayfaları gibi yollar ise tüm botlara kapalı kalmalı.

İki uyarı. Birincisi, robots.txt bir erişim kontrolü değil, bir ricadır; kurallara saygılı botlar uyar, diğerleri uymayabilir. Gerçekten korunması gereken içerik kimlik doğrulamanın arkasında durmalı. İkincisi, bot adları ve davranışları zamanla değişiyor. Kuralları yazmadan önce her sağlayıcının güncel belgelerini kontrol edin ve sunucu kayıtlarınızda hangi botların gerçekten geldiğine bakın.

llms.txt nedir ve gerçekten işe yarar mı?

llms.txt, 2024'te Answer.AI'dan Jeremy Howard tarafından önerilen bir dosya biçimidir. Fikir basit: sitenin kök dizininde, Markdown ile yazılmış ve büyük dil modellerinin hızlıca okuyabileceği kısa bir rehber bulunsun. Önerilen yapı genellikle şu parçalardan oluşur:

1. Sitenin ya da projenin adını taşıyan bir başlık.
2. Bir iki cümlelik bir özet.
3. Önemli sayfalara giden, kısa açıklamalı bağlantı listeleri: hizmetler, ürünler, belgeler, iletişim.
4. İsteğe bağlı olarak, daha ayrıntılı içeriği tek dosyada toplayan bir llms-full.txt.

Dürüst olmak gerekirse llms.txt bugün bir standart değil, bir öneri. robots.txt veya sitemap.xml gibi motorların ortak kabul ettiği bir sözleşme yok ve büyük arama ya da yanıt motorlarından hiçbiri bu dosyayı sıralama veya kaynak gösterme için kullandığını kamuya açık şekilde taahhüt etmiş değil. Bazı geliştirici araçları ve belge platformları onu benimsiyor, bazı ajanlar okuyabiliyor; ama "llms.txt koydum, artık yapay zekâ beni bulur" beklentisi gerçekçi değil.

Yine de maliyeti düşük. İyi yazılmış bir llms.txt, sitenizin ne anlattığını ekip içinde de netleştirir ve öneri yaygınlaşırsa hazır olursunuz. Biz bunu, temeller tamamlandıktan sonra eklenen küçük bir iyileştirme olarak görüyoruz; temellerin yerine geçen bir çözüm olarak değil.

Yapay zekâ sizi ancak anlayabildiği kadar anlatır. Önce netlik, sonra dosyalar.

Yapılandırılmış veri: makinelerin anladığı dil

Yanıt motorlarının sizi doğru tarif edebilmesi için içeriğin yalnızca okunabilir değil, yorumlanabilir olması gerekir. Schema.org sözlüğüyle yazılmış yapılandırılmış veri, tercihen JSON-LD biçiminde, bunu sağlar. Öncelik verdiğimiz türler:

• Organization: Şirket adı, logo, iletişim bilgileri ve sosyal profiller. Markanızın kim olduğunu tek yerde tanımlar.
• Article veya BlogPosting: Başlık, yayın ve güncelleme tarihleri, yayıncı. Güncellik sinyali için önemlidir.
• BreadcrumbList: Sayfanın site içindeki yerini gösterir.
• FAQPage: Soru-cevap bölümlerini açıkça işaretler; yanıt motorlarının alıntılamayı sevdiği biçime yakındır.
• Product, Service veya LocalBusiness: Ne sattığınızı ve nerede hizmet verdiğinizi tarif eder.

İşaretleme, sayfada görünen içerikle birebir uyumlu olmalı. Sayfada olmayan bir bilgiyi yalnızca JSON-LD'ye yazmak hem arama motorlarının yönergelerine aykırıdır hem de güven kaybettirir. Bu işi tek seferlik bir eklenti ayarı olarak değil, yazılım altyapınızın bir parçası olarak ele almak, şablonlar değiştikçe işaretlemenin sessizce bozulmasını önler.

Teknik temel: botlar sayfanızı gerçekten okuyabiliyor mu?

En iyi içerik bile bot onu göremiyorsa işe yaramaz. Kontrol listemiz şöyle:

• Sunucu tarafında üretilen içerik: Birçok yapay zekâ botu ham HTML'i okur ve JavaScript çalıştırmayabilir. Ana metin, başlıklar ve bağlantılar ilk HTML yanıtında bulunmalı.
• Güncel sitemap.xml: Önemli sayfaları ve son güncelleme tarihlerini içermeli, robots.txt içinden de gösterilmeli.
• Temiz başlık hiyerarşisi: Her sayfada mantıklı bir H2 ve H3 yapısı, sorulara doğrudan cevap veren paragraflar.
• Hız ve kararlılık: Yavaş açılan ya da hata veren sayfalar her tarayıcı için sorundur.
• Güvenlik duvarı ayarları: CDN ya da WAF katmanındaki bot korumaları, robots.txt'de izin verdiğiniz botları farkında olmadan engelleyebilir.
• Kayıt takibi: Sunucu kayıtlarında yapay zekâ botlarının hangi sayfaları ziyaret ettiğini düzenli izleyin. Kurallarınızın beklediğiniz gibi çalıştığını ancak böyle görürsünüz.

Bu adımlar GEO'nun teknik ayağıdır. İçerik tarafını, yani yanıt motorlarının alıntılamak isteyeceği netlikte yazmayı GEO Nedir? yazımızda ayrıntılı anlattık.

Sık sorulan sorular

llms.txt eklemek sıralamamı yükseltir mi?

Bunu beklememek gerekir. llms.txt şu an bir öneri ve büyük arama ya da yanıt motorları onu sıralama sinyali olarak kullandığını açıklamadı. Düşük maliyetli bir ekleme olarak görün, temel çalışmaların yerine koymayın.

GPTBot'u engellersem ChatGPT'de görünmez olur muyum?

Doğrudan hayır. GPTBot eğitim için tarama yapar; ChatGPT aramasında görünmek ise OAI-SearchBot'a erişim izni vermenizle ilgilidir. İkisini robots.txt içinde ayrı ayrı yönetebilirsiniz.

Google-Extended'ı engellemek beni AI Overviews'tan çıkarır mı?

Hayır. Google-Extended, içeriğin Gemini modellerinde kullanımını kontrol eder. AI Overviews Google Arama'nın parçasıdır ve Googlebot kurallarına tabidir; Googlebot'u engellemek ise sizi aramadan da tamamen çıkarır.

Hangi yapılandırılmış veri türüyle başlamalıyım?

Organization ile başlayın, ardından içerik sayfalarınız için Article ve BreadcrumbList ekleyin. Sayfalarınızda soru-cevap bölümleri varsa FAQPage işaretlemesi de mantıklıdır.

Nereden başlamalı?

Önce mevcut robots.txt dosyanızı ve sunucu kayıtlarınızı açın; hangi botların geldiğini ve neye izin verdiğinizi görün. Ardından eğitim ve arama botları için bilinçli bir karar verin, Organization işaretlemesini ekleyin ve önemli sayfalarınızın JavaScript olmadan da okunabildiğini doğrulayın. llms.txt bu listenin sonunda gelir.

SEO, SEM ve GEO çalışmalarımızda bu teknik denetimi strateji ve içerikle birlikte yürütüyoruz. Daha geniş çerçeve için Yapay Zekâ Arama Çağında SEO, SEM ve GEO yazımıza da göz atabilirsiniz. Sitenizin yapay zekâ aramasına ne kadar hazır olduğunu birlikte incelemek isterseniz bizimle iletişime geçin.