Yapay zeka görünürlük kontrolü: robots.txt, llms.txt ve schema

Ne kontrol eder?

Araç, robots.txt dosyanızı okuyup bilinen yapay zeka botlarının seçtiğiniz yola erişmesine izin verilip verilmediğini gösterir. Metni siz yapıştırırsınız; araç hiçbir adresi çağırmaz. robots.txt zorunlu, llms.txt ve sayfa HTML'i isteğe bağlıdır.

• Bot tablosu: her bot için karar, eşleşen grup ve kararı veren kural ile satır numarası.
• Özet: engelli eğitim botları ve izinli arama botları; kullanıcı tetiklemeli getiriciler ile kontrol jetonları ayrı sayılır.
• llms.txt biçimi ve güvenli olmayan bağlantı şemaları.
• HTML: JSON-LD, meta robots, canonical, title, meta description ve lang.

Sonuç tarafsızdır: eğitim botlarını engelleyip arama botlarına izin vermek de, hepsine izin vermek de geçerli bir tercihtir. Site adresi alanı yalnız robots.txt ve llms.txt bağlantıları üretir; bunlar yeni sekmede açılır.

Eğitim, arama ve kullanıcı tetiklemeli botlar

Aynı şirketin birden fazla botu olabilir ve her biri farklı iş yapar. Operatör belgelerine göre üç ana amaç vardır; belgeler 2026-10-11 tarihinde yeniden kontrol edildi.

Google-CloudVertexBot site sahibinin isteğiyle çalışan bir Vertex AI taramasıdır ve eğitim ya da arama toplamlarına girmez. Meta'nın üç jetonu ile Bytespider için “bilinmiyor” gösterilir ve toplamlara katılmaz. Googlebot referans satırıdır.

robots.txt kuralları nasıl eşleşir?

Eşleştirme RFC 9309 kurallarına göre yapılır. Satırlar User-agent ile gruplanır; art arda gelen satırlar bir grubu paylaşır, aynı jetonun grupları birleşir. Bir bot, jetonuyla (büyük/küçük harf fark etmez) tam eşleşen grupları kullanır; yalnız hiçbiri yoksa * grubu geçerlidir.

• Yol karşılaştırması büyük/küçük harfe duyarlıdır; * joker, $ satır sonu çapasıdır.
• Eşleşen kurallardan deseni en uzun olan kazanır; uzunluk eşitse Allow kazanır.
• Boş bir Disallow: her şeye izin verir.
• Yüzde kodlu karakterler karşılaştırmadan önce normalleştirilir.

User-agent: *
Disallow: /ozel/
Allow: /ozel/herkese-acik/

User-agent: GPTBot
Disallow: /

Burada GPTBot yalnız kendi grubunu kullanır ve / yolunda engellidir; OAI-SearchBot * grubuna düşer ve izinlidir. Başka Disallow kuralları, başka yolların engelli olduğunu tek başına kanıtlamaz; bir Allow onları geçersiz kılabilir, bu yüzden araç bunları yalnız bilgi olarak yazar. Google-CloudVertexBot ve Amzn-SearchBot için operatörler başka botların kurallarına geri dönüş tanımlar; genel eşleştirici bunu yeniden üretmez ve satırda uyarı gösterir.

Google-Extended ve Applebot-Extended neden “kontrol jetonu”?

Bu adlar ayrı tarayıcı değil, robots.txt içinde kullanılan denetim jetonlarıdır. Google, Google-Extended'ı ayrı bir tarayıcı olmayan bir robots.txt jetonu olarak tanımlar; Gemini eğitimi ve dayanak gösterme kullanımını yönetir, Arama'yı etkilemez. Apple'a göre Applebot-Extended sayfaları taramaz ve eğitim kullanımını denetler.

Bu yüzden bu satırlarda “izinli” ya da “engelli” yerine “kullanıma izin verilmiş” ya da “kullanımdan çıkarılmış” yazar: ölçülen şey tarama erişimi değil, kullanım tercihidir. Kaynaklar: Google ve Apple.

llms.txt nedir, ne değildir?

llms.txt, Jeremy Howard'ın 3 Eylül 2024'te önerdiği bir biçimdir; standart değil, öneridir. llmstxt.org 11 Ekim 2026'da “version 2” ve son değişiklik olarak 10 Ağustos 2026'yı gösteriyor. Zorunlu tek öğe en baştaki H1'dir; blockquote özeti ve bağlantı listeli H2 bölümleri öneridir, eksikliği biçim hatası sayılmaz.

llms.txt'nin sıralamayı ya da yapay zeka görünürlüğünü artırdığına dair doğrulanmış bir belge yoktur ve araç böyle bir iddiada bulunmaz. Yalnız eksik H1'i, güvenli olmayan bağlantı şemalarını (javascript:, data:, //) ve boyutu raporlar. Göreli bağlantılar hata değil, çözülmemiş bağlam sayılır; tıklanabilir yapılmaz. Dosyayı yazmak için llms.txt oluşturucu aracını kullanın.

Yapılandırılmış veri ve meta robots

HTML yapıştırırsanız araç JSON-LD bloklarını sayar, ayrıştırır ve @type değerlerini listeler; geçersiz JSON hata sayılır. Ayrıntı için JSON-LD doğrulayıcı, işaretleme üretmek için schema oluşturucu var. Yapılandırılmış verinin yapay zeka görünürlüğünü artıracağı sözü verilmez; araç yalnız varlığını gösterir.

meta name="robots" ve googlebot içinde noindex, nosnippet, max-snippet ve noarchive aranır; canonical, title, meta description ve lang da kontrol edilir. robots.txt engeli noindex değildir: Google'a göre taramayı engellemek içeriğin alınmasını önleyebilir ama URL'nin Arama'dan kaldırılacağını garanti etmez (Google belgesi). Googlebot engelliyse noindex hiç görülmeyebilir.

Sınırlar

• Yapıştırma modudur: hiçbir adres indirilmez, bu yüzden canlı dosya yapıştırdığınızdan farklı olabilir.
• robots.txt gönüllüdür; uymayan bir bot durdurulmuş olmaz.
• CDN, WAF veya sunucu düzeyindeki bot kuralları robots.txt'de görünmez.
• Kural eşleşmesi, isteğin engellendiğinin kanıtı değildir; kullanıcı tetiklemeli getiricilerde operatör farklı davranabilir.
• Sınırlar: robots.txt 500 KiB ve 20.000 satır (RFC 9309 en az 500 KiB ister); llms.txt 500 KiB, HTML 2 MiB araç sınırıdır.
• Bot listesi operatör belgelerine dayanır ve 2026-10-11'de yeniden kontrol edildi; jetonlar değişebilir.
• HTML çalıştırılmaz, görüntülenmez, içindeki görseller ya da çerçeveler yüklenmez; paylaşım bağlantısına hiç eklenmez.