robots.txt dosyamın beklenen şekilde çalışıp çalışmadığını nasıl denetlerim?
|
|
robots.txt dosyamın beklenen şekilde çalışıp çalışmadığını nasıl denetlerim?
robots.txt analiz aracı, robots.txt dosyasını Googlebot’un okuduğu gibi okur.Araç bir satırda sözdizimi hatası belirlerse Googlebot o satırı tanımayacak demektir.Araç bir URL’ye izin verildiğini gösterirse, Googlebot da o URL’yi izin verilmiş olarak tanıyacaktır.
Bu araç sadece Google kullanıcı aracıları (Googlebot gibi) sonuçlarını sağlar.Diğer botlar ise robots.txt dosyasını aynı şekilde tanımayabilir.Örneğin, Googlebot standart tanımın genişletilmiş bir biçimini destekler.İzin ver: satırlarının yanı sıra * ve $ şablon eşlemesini de tanır.Dolayısıyla araç bu uzantıları tanındığı gibi içeren satırları gösterirken, bunun sadece Googlebot için geçerli olduğunu ve varsa sitenizi tarayan diğer botlar için geçerli olmayabileceğini unutmayın.
Bir robots.txt dosyası etki alanının kök dizininde bulunuyorsa, bu araçlar Google’ın dosya hakkında edindiği aşağıdaki bilgileri listeler:
- Sitenizdeki geçerli robots.txt dosyasına bir bağlantı.
- Google dosyayı son indirdiğinde; dosyayı bu tarihten ve saatten sonra değiştirdiyseniz, değişiklikler önbelleğe alınmış sürümümüzde gösterilmeyecektir.
- Dosyanın durumu – Dosyayı indirmeye çalıştığımızda aldığımızHTTP yanıtı (durum 200 olarak gösteriliyorsa dosyaya başarıyla erişmişiz demektir. Durum 404 olarak gösteriliyorsa böyle bir dosya yoktur.Durum kodları hakkında daha fazla bilgi için bkz. RFC-2616.)
- MIME türü – Metin dosyası olmayan dosya türlerini işleme koyamayız
- robots.txt ana sayfanıza veya gönderdiğiniz Site Haritalarına erişimi engelleyip engellemediği.
- Dosyadaki satırları çözümlemekte sorun yaşayıp yaşamadığımız.
Bir sitenin robots.txt dosyasını analiz etmek için:
- Google HesabınızlaGoogle web yöneticisi araçlarında oturum açın.
- Gösterge Tablosu’nda, istediğiniz sitenin URL’sini tıklayın.
- Araçlar ve ardından robots.txt dosyasını analiz edin öğesini tıklayın.
Bunlarda İlginizi Çekebilir mi ?
Yazar Bilgileri |
