robots.txt Oluşturucu

Araç ne yapar, kim kullanır?

Araç iki iş yapar. Birincisi, form alanlarından geçerli bir robots.txt dosyası üretir: her grupta bir veya daha fazla user-agent, sıralı Allow/Disallow kuralları ve dosyanın sonunda Sitemap satırları. İkincisi, ürettiğiniz ya da yapıştırdığınız bir dosyada belirli bir yolun belirli bir bot için izinli mi engelli mi olduğunu hesaplar ve kararı veren grubu ve satırı gösterir. WordPress veya WooCommerce sitesi yöneten geliştiriciler, yapay zekâ botları için politika belirlemek isteyen içerik sahipleri ve site taşıma öncesinde tarama kurallarını denetleyen SEO uzmanları için tasarlandı.

Nasıl kullanılır?

1. Hazır şablonu seçip “Şablonu uygula” düğmesine basın. Şablon mevcut grupları değiştirir; AI bot seçimleri ve site haritaları korunur.
2. Her grupta user-agent alanına bot adlarını virgülle ayırarak yazın; bütün botlar için * kullanın. Kural satırında Allow veya Disallow seçip / ile başlayan yolu girin.
3. AI botları bölümünde her bot için “Ayrı kural yok”, “Engelle” veya “İzin ver” seçin.
4. Site haritası URL’lerini satır satır ekleyip “robots.txt oluştur” düğmesine basın. Uyarıları okuyun, ardından çıktıyı kopyalayın veya robots.txt olarak indirin.
5. Yol testçisinde bot adını ve /wp-admin/ gibi bir yolu ya da tam URL’yi girip “Yolu test et” düğmesine basın. İsterseniz canlı sitenizdeki dosyanın içeriğini yapıştırarak onu test edin.

Grup ve yol eşleşmesi

Testçi, Google’ın robots.txt spesifikasyonunu izler ve sonucu “Google uyumlu Allow/Disallow değerlendirmesi” olarak sunar. Önce grup seçilir: botun ürün adıyla büyük/küçük harf duyarsız eşleşen gruplar bulunur ve aynı ada sahip birden çok grup tek grupta birleştirilir. Özel grup yoksa * grupları kullanılır. Özel grup varsa * kuralları o bota hiç uygulanmaz.

• Kural yolun başından eşleşir; * herhangi bir karakter dizisini, sondaki $ URL’nin bittiği yeri ifade eder.
• Eşleşen kurallardan en uzun olanı kazanır. Aynı uzunlukta Allow ve Disallow çakışırsa Allow kazanır.
• Yollar büyük/küçük harfe duyarlıdır. Türkçe karakterler UTF-8 percent-encoding ile karşılaştırılır; %c3%96 ile %C3%96 aynı kabul edilir.
• Query string yolun parçasıdır; $ ile biten bir kural ? ile devam eden URL’yi kapsamaz.
• Boş Disallow: hiçbir şeyi engellemez. Crawl-delay ve bilinmeyen direktifler karara katılmaz, satır numarasıyla listelenir.

WordPress ve WooCommerce şablonları

WordPress şablonu yalnızca /wp-admin/ dizinini engeller ve tema ile eklentilerin kullandığı /wp-admin/admin-ajax.php dosyasına izin verir. /wp-includes/ veya /wp-content/ engellenmez; Google’ın sayfayı doğru işleyebilmesi için CSS ve JavaScript dosyalarına erişmesi gerekir.

WooCommerce şablonu sepet, ödeme ve hesap sayfalarını ve add-to-cart parametreli URL’leri ekler. Bu sayfaların adresi kuruluma göre değişir; Türkçe bir mağazada /sepet/, /odeme/ veya /hesabim/ olabilir. Araç Türkçe yolları varsaymaz: alanları WooCommerce ayarlarınızdaki gerçek sayfa adreslerine göre düzenleyin.

Bot seçimleri: arama ve eğitim botları

Yapay zekâ botları tek bir “AI kapat” anahtarında birleştirilmez, çünkü farklı işler yaparlar. OpenAI’ın GPTBot botu model eğitimi için, OAI-SearchBot ise ChatGPT arama sonuçları için tarar. Anthropic tarafında ClaudeBot eğitim, Claude-SearchBot arama kalitesi içindir. Google-Extended ayrı bir tarayıcı değil, Gemini eğitimi ve grounding kullanımını yöneten bir denetim adıdır; Google Arama’daki görünürlüğü etkilemez. PerplexityBot Perplexity arama dizini, CCBot ise eğitim veri setlerinde sık kullanılan Common Crawl arşivi içindir.

Kendi grubu olan bot * grubunu yok sayar; bu yüzden “İzin ver” seçeneği WordPress kurallarınızı o bota taşımaz. Bot adları ve amaçları zamanla değişebilir; OpenAI ve Anthropic belgelerini düzenli kontrol edin.

Test örnekleri

Aşağıdaki dosyada Googlebot için bazı yolların sonucu tabloda görülüyor. Aynı yolları GPTBot ile test ederseniz ayrı GPTBot grubu seçilir ve Disallow: / bütün yolları engeller.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /*.pdf$
Disallow: /Özel/

User-agent: GPTBot
Disallow: /

Tarama engeli, indeksleme farkı ve sık hatalar

robots.txt taramayı yönetir, indekslemeyi değil. Engellenen bir URL başka sitelerden bağlantı alıyorsa açıklamasız biçimde arama sonuçlarında görünebilir. Bir sayfayı sonuçlardan kaldırmak için sayfa taranabilir kalmalı ve noindex meta etiketi ya da X-Robots-Tag başlığı taşımalıdır. robots.txt parola koruması da değildir; dosya herkese açıktır ve kötü niyetli botlar kurallara uymak zorunda değildir. Google’ın robots.txt açıklaması bu farkı ayrıntılı anlatır.

• Canlıya taşınan bir staging dosyasındaki Disallow: / satırı bütün siteyi taramaya kapatır; araç bu durumda güçlü uyarı gösterir.
• Testçi yerel bir modeldir ve canlı dosyanızı indirmez. Google dışındaki botlar kuralları farklı yorumlayabilir; sonucu Search Console’daki robots.txt raporuyla doğrulayın.
• Dosya alan adının kökünde, https://alanadi.com/robots.txt adresinde olmalıdır; alt dizindeki dosya dikkate alınmaz.