robots.txt Nedir ve Nasıl Oluşturulur?

robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayabileceklerini söyleyen bir metin dosyasıdır.

Ne İşe Yarar?

Tarama bütçesini korur (gereksiz sayfaları taratmaz).
Özel/yönetim sayfalarının taranmasını engeller.
Sitemap'inizin yerini bildirir.

Önemli: robots.txt taramayı engeller, indekslemeyi değil. Bir sayfayı tamamen gizlemek için noindex kullanın.

Nasıl Oluşturulur?

Kök dizine robots.txt adında bir dosya koyun: https://siteniz.com/robots.txt

Temel şablon (her şeye izin ver + sitemap):

User-agent: *
Disallow:

Sitemap: https://siteniz.com/sitemap.xml

Belirli klasörleri engelle:

User-agent: *
Disallow: /wp-admin/
Disallow: /checkout/

Sitemap: https://siteniz.com/sitemap.xml

Yaygın Hatalar

Tüm siteyi yanlışlıkla engellemek: Disallow: / (staging dışında asla).
Hassas veriyi robots.txt ile gizlemeye çalışmak (dosya herkese açıktır).
noindex istenen sayfayı Disallow etmek → Google noindex'i göremez → sayfa indekste kalır.

Kolay Yol

robots.txt dosyanızı ücretsiz robots.txt generator ile oluşturun, sonra SEO Snapshot ile canlı sitenizde doğrulayın.