Arama motorlarının sitenizde nereleri tarayabileceğini belirleyen küçük bir dosya: robots.txt. Doğru kullanıldığında SEO'ya katkı sağlar, yanlış kullanıldığında sitenizi Google'dan silebilir. Bu rehberde robots.txt'i sade bir dille açıklıyoruz.

robots.txt Nedir?

robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına (Googlebot vb.) hangi sayfaları tarayabileceklerini/tarayamayacaklarını söyleyen bir metin dosyasıdır. Adresi: siteadi.com/robots.txt

robots.txt Ne İşe Yarar?

  • Gereksiz veya özel sayfaların taranmasını engeller (örn. yönetim paneli).
  • Sunucu kaynaklarını korur; botların önemsiz alanlarda dolaşmasını azaltır.
  • Sitemap konumunu arama motorlarına bildirir.

Temel robots.txt Komutları

User-agent: *
Disallow: /yonetim/
Allow: /
Sitemap: https://siteadi.com/sitemap.xml
  • User-agent: Kuralın hangi bota uygulanacağı (* = tümü).
  • Disallow: Taranmasını istemediğiniz dizin/sayfa.
  • Allow: İzin verilen alan.
  • Sitemap: SEO için site haritanızın adresi.

Sık Yapılan Hatalar

  1. Tüm siteyi engellemek: Disallow: / yazmak siteyi Google'dan tamamen siler — çok dikkatli olun!
  2. Indexlemeyi robots.txt ile engellemeye çalışmak: Bir sayfayı Google'dan kaldırmak için noindex meta etiketi gerekir; robots.txt sadece taramayı engeller.
  3. Sitemap eklemeyi unutmak: Sitemap satırı eklemek indekslemeyi kolaylaştırır.

robots.txt mi noindex mi?

Bir sayfanın Google'da görünmesini istemiyorsanız noindex meta etiketi kullanın. robots.txt taramayı engeller ama sayfa yine de (link üzerinden) indekslenebilir. İkisi farklı amaçlara hizmet eder.

Sık Sorulan Sorular

robots.txt zorunlu mu?

Zorunlu değil ama SEO ve tarama kontrolü için önerilir.

robots.txt'i nasıl test ederim?

Google Search Console'un robots.txt test aracıyla kurallarınızı kontrol edebilirsiniz.

Yanlış robots.txt SEO'ya zarar verir mi?

Evet, yanlışlıkla önemli sayfaları engellemek sıralamanızı ciddi düşürebilir.

SEO uyumlu, hızlı bir altyapı için hosting ve VDS sunucu çözümlerimizi inceleyin.