Robots.txt dosyasını bende uzun süredir kullanmıyordum, aslında kullanmama nedenim ne işe yaradığını bilmediğimden kaynaklanıyordu. Seo hakkında aldığım bir kitabı okumam ve internette seo hakkında yaptığım araştırmalar sonucunda benimde robots.txt dosyasını kullanmam gerektiğini anladım. Aslında anlamaktan ziyade, bir şekilde bunu öğrenmem gerekiyordu. Eğer internetle ilgileneceksem ve bu alanda kendimi geliştirmek istiyorsam bunun ne işe yaradığını öğrenip basit bile olsa kullanmaya başlamam gerekiyordu.
Robots.txt dosyası arama motorlarının sizin web siteniz hakkında bilgi aldığı, hangi dizinleri indeksleyip hangi dizinleri indekslemeyeceğini öğrendiği bir text dosyasıdır. İçerisinde birtakım parametrelerin yazılı olduğu bir dökümandır. Web sitelerinin en üst dizinlerinde barındırılır ve arama motoru robotları ve diğer bilgi almak isteyen robotlar bu dosyaya bakarak sizin sitenizi ona göre indeksleyeceklerdir.
Robots.txt konusuyla ilgili öğrenilmesi gereken iki tane temel parametre var. Bunlardan bir tanesi "User-agent:" diğeri ise "Disallow:" parametresidir.
Şimdi kullanım örnekleriyle anlatmak gerekirse;
Web sitenizi tüm robotlardan ve dizinlerden uzak tutmak istiyor, sitenizin hiç indekslenmesini istemiyorsanız aşağıdaki kullanım sizin ihtiyacınızı karşılayacaktır;
User-agent:*
Disallow:/
Eğer sitenize gelen tüm robotlara izin vermek ve herşeyin indekslenmesini istiyorsanız aşağıdaki gibi bir kullanımda bu isteğinizi karşılamış olacaktır;
User-agent:*
Disallow:
Umarım ilk defa öğrenenler için azda olsa faydalı olabilecek bir döküman olmuştur. Hiç bilmeyenler için gerçekten de bu çok zor bir iş. Benim bloğum için bu parametler yeterli olabilir ancak siz kendi web siteniz için indekslenmesini istemediğiniz dizinleri ona göre ekleyip bu dosyayı kullanabilirsiniz. Unutmayın, dikkatsizce kullanırsanız sitenizin trafiği bile düşebilir. Siteniz arama motorları tarafından indekslenmeyebilir. Mutlaka bilinçli olarak kullanın.
Hiç yorum yok:
Yorum Gönder