Robots.txt Dosyasına Sitemap Ekleme

Paylaşan Admin

11 Temmuz 2019 Perşembe

Robots.txt Nedir?
Robots.txt dosyası web sitelerinin ana dizinine yüklenen basit bir metin dosyasıdır. İçeriğine yazılacak kodlara dikkat edilmelidir. Bu metin dosyasının içerisine yazılacak hatalı bir kaç kod web sitemizin arama motorları tarafından taranmamasına sebeb olabilir. Evet, robots.txt dosyaları arama motorlarını yönlendirmemiz için kullandığımız metin dosyasıdır. Temel olarak: Bot tanımlama(User-Agent), İzin ver(Allow), İzin verme(Disallow) komutları en sık kullanılandır.

Örneğin Google arama motorunun resim dosyalarımızın bulunduğu bir klasörü taramasını istemiyorsak;

User-agent: Googlebot-Image

Disallow: /images/

Yukarıdaki komutta, Google arama motorunun görsel botu olan Googlebot-Image botu seçerek hedef gösterdim ve yapması gereken işlemde Disallow ile izin vermediğim klasörüm resimlerimin bulunduğu images klasörü ve bu klasörün altındaki dosyalardır. Sondaki "/" (slaş) alt dosya ve klasörleride kapsaması içindir. Arama motoru bot isimleri değişir, Google' da; Googlebot, Googlebot-Image, Mediapartners-Google gibi botlara göre engelleme yapılabilir. Fazla detaya girmeden robots.txt için özet yeterlidir umarım. Yine de sormak istediğinizi yorum yaparak bana iletebilirsiniz.


Sitemap.xml Nedir?
Sitemap ise arama motorlarına yardımcı olmak için site bağlantılarımızın oluşturulduğu xml dökümanlarıdır. Arama motorları bu xml dosyasından sitenizdeki bağlantıları takip ederler. Eğer sitenizde yeni bir link oluşturduğunuz da sitemap.xml dosyanız güncelleniyorsa arama motorları bu değişikliği sitemap.xml sayesinde fark edecek. Bu sayede bağlantılarınızın daha hızlı indexlenmesi sağlanacak.

Konu aslında robots.txt dosyasına sitemap.xml dosyasını ekleme idi. Ben birazda olsa bu iki dosyadan bahsetmek istedim. Şimdi robots.txt dosyasına sitemap.xml dosyamızı ekleyelim...

Robots.txt Dosyasına Sitemap Ekleme
"Sitemap:" komutu ile sitemap dosyamızın tam yolunu belirtiyoruz. Özellikle bu kafa karıştırıyor. Burada robots.txt' de arama motorları için hedef belirlediğimiz gibi değil tam yolu yazıyoruz.

Sitemap: http://www.example.com/sitemap.xml

Robots.txt dosyamıza bakan arama motorları sitemap dosyamızıda görmeden gitmeyecek artık :)

Kaynaklar
https://support.google.com/webmasters/answer/183669?hl=tr
http://www.robotstxt.org/robotstxt.html

Bunu Paylaş :