Sitemap önemli adresleri arama sistemlerine bildirir; robots.txt tarama kurallarını açıklar. Bunlar zayıf içeriği düzeltmez veya indekslenmeyi garanti etmez.
Uygulamada kontrol edilecekler
- Sitemapte çalışan ve tercih edilen adresleri tutun.
- Robots kurallarını gerekli kamu sayfalarını engellemeyecek biçimde inceleyin.
- Gizli veriyi yalnızca robots kuralıyla korumaya çalışmayın.
Somut örnek
İndeks dışı bırakma amacıyla kullanılan noindex ile tarama engelini karıştırmayın.
Karar ölçütü
Dosyalar sitenin gerçek adres ve erişim durumuyla tutarlı olmalıdır.
