Robots.TXT ve Google İlişkisi

Bilmeyenler için ufak bir hatırlatma, Robots.txt dosyası, sitenizin kök dizininde bulunması gereken ve arama motorları ve arşiv sitelerinin çok önem verdiği bir yönerge sistemidir.

Robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır.

Robotlar mı?

Google’ın sitenizi dizinine eklenmesini sağlayan botlarını veya arşiv sitelerinin sitenizi arşivlemesi için kullandıkları küçük yazılımlar olduğunu söyleyebiliriz.

Ben arşiv sitelerini sevmiyorum. Bu yüzden aşağıdaki komutu kullanıyorum. Archive.org da dahil birçok arşiv sitesi benim siteyi arşivleyemiyor.

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

Robotx.txt içerisindeki bu komutlar, sitenize erişimi bölüm bazında ve belirli web tarayıcısı türüne göre (örneğin mobil tarayıcılar ve masaüstü tarayıcılar gibi) göstermek için kullanılabilir.

[kirmizi]Siteniz, Google’ın veya diğer arama motorlarının dizine eklemesini istemediğiniz içeriğe sahipse yalnızca bir tane komutu robots.txt dosyasına eklemeniz yeterlidir.[/kirmizi]

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes

Robots.txt dosyanızı oluşturmadan önce, bu URL engelleme yönteminin risklerini bilmeniz gerekiyor. Yanlış bir komutla tüm sitenize gelen botları engelleyebilirsiniz.

Dikkat!

Robots.txt içeriğindeki komutlar, Google da dahil birçok site botları için bir emir niteliği taşır! Yani bir nevi botlara emrederek bazı şeyleri kısıtlayabilirsiniz!

Mesela küçük bir hata…

Disallow: /wp-content

Bu komut Robots.txt dosyanızda varsa ya da eklerseniz WordPress’in temalarına, CSS dosyalarına, resimlerinize (alt dizinler de dahil edilir) Google’ı ve diğer botları yasaklamış olursunuz.

Robotlar CSS dosyama erişmesin!

Hayır, erişsin! Geçtiğimiz sene bu hatayı yapmıştım. Tema dosyalarına erişmesinler istedim. Google, CSS dosyalarıma erişemedi. Bu yüzden mobil bir tasarıma sahip olmama rağmen, mobil arayüzü Google göremiyordu!

Bana uyarı verip durdu. “Mobil arayüze sahip değilsin”

Çünkü responsive tasarımı CSS üzerinden yönlendiriyorum. Google’a resmen yasaklamıştım. Ziyaretçiler görüyor, Google göremiyor… Enteresan bir durum oldu 🙂

Robots.txt talimatları yalnızca yönergelerdir

Robots.txt dosyasındaki talimatlar, tarayıcının web sitenizde nasıl davranacağına ilişkin zorunluluk getiremez. Bunun yerine, bu talimatlar, tarayıcının sitenize erişmesine ilişkin yönergeler olarak görev yapar. Googlebot ve diğer tanınmış web tarayıcıları bir robots.txt dosyasındaki talimatlara uysalar da bazı tarayıcılar uymayabilir.

[kirmizi]Bu nedenle, bilgileri web tarayıcılarının erişemeyeceği şekilde güvende tutmak istiyorsanız sunucunuzdaki gizli dosyaları şifreyle koruma gibi farklı yöntemlerin kullanılması daha iyidir.[/kirmizi]

Kısacası, Robots.txt dosyanıza dikkat edin, özellikle de Google için bir emir vermiş olduğunuzu Google’a buraya girme dediğiniz zaman girmek istemeyeceğini unutmayın 🙂