Paylaşan 
Web sitelerinin kırık link ve 404 Sayfa bulunamadı gibi hatalara maruz kalmaması için önceden alması gereken bir takım tedbirler bulunmaktadır. 404(Sayfa bulunamadı!) hatası döndüren bir web sayfası kırık link olarak da tabir edilen bir çok sorunu beraberinde getirir.
Bu sorunlar ne olabilir?
Elbette akıllara ilk gelen arama motorları olsa da günlük tekil hit potansiyeli yüksek bir web sitesinin hali hazırda var olan takipçilerini düşünmesi arama motorlarından daha önceliklidir. Bu nedenle ilk adım sayfanın neden var olmadığını izah eden anlaşılır bir 404 sayfası hazırlamaktır. İkinci adım ise arama motorlarına yok edilecek, taşınacak, değiştirilecek sayfalarımızı(linkler) önceden bildirilmelidir. Bu adımda tüm arama motorları tarafından kabul gören bir robots.txt dosyası düzenlenmelidir. Robots.txt dosyası standart olarak yalnızca web sitemizin ana dizininde kabul görmektedir.(www.domain.com/robots.txt gibi) Dosyanın içeriğinde silinecek, taşınacak vb. linklerimiz üzerine işlem yapabilir ve arama motorlarında 404 Hata sayfasını göstermeden linklerimizi temizlemiş oluruz. Robots.txt kullanmıyorsanız hemen fikir alıp başlayabilirsiniz. Detaylı Bilgi İçin: Sayfaları, robots.txt dosyasını kullanarak engelleme veya kaldırma
İhmal edilmemesi gereken bir adım daha var.
Robots.txt dosyamızın içeriğini oluşturduktan sonra, bu dosyayı en iyi şekilde kullanmak isteyeceğiz. Google' ın olduğu gibi diğer arama motorlarıda (en azından sitemap.org da belirtilenler) robots.txt üzerinden sitemap.xml dosyalarımızı kabul etmektedir. Biz robots.txt' ye sitemap.xml dosyamızın yolunu eklediğimizde arama motorlarına yardımcı oluyoruz. Gayet de mantıklı; otomatik olarak oluşturulan robots.txt ve sitemap.xml dosyalarımızın aynı anda arama motorları tarafından incelenmesi, silinen veya taşınan linklerimiz için de ilaç gibi gelecektir.
Basitçe bir robots.txt doyası ve sitemap ekleme:
User-agent: * #tüm arama motorlar
Allow: /
User-agent Googlebot #bundan sonraki satırlar yalnızca google arama motoru için geçerli olur.
Disallow: /?ref= #güvenlik önlemi.
Disallow: /*.xls$ #xls uzantılı dosyaları tarama.
Disallow: /image/data/ #belirtilen klasörü tarama.
Sitemap: http://www.domain.com/sitemap.xmlEğer sitemap dosyamızda değişiklik yaptığımızda google veya diğer arama motorlarına tekrar göndermeyi de Http kullanarak yapıyorsak, anlatılan tüm silme ve dizine eklenme işlemlerini bir nebze daha hızlandırmış olacağız. Yukarıdaki sitemap bildirimini aynen görüldüğü gibi yazıyoruz sadece alt klasörü değil domain adıyla birlikte sitemap.xml dosyamızın konumunu bildiriyoruz.
Kaynaklar ve linkler;
- Robots.txt Hakkında ve Yapımı
- Site Haritalarını Gönderme
- Http kullanarak site haritalarını ping etmek
Bunu Paylaş :
comment 0 Yorum
more_vert*Lütfen yanlızca yazı ile ilgili yorumlar yazınız.
*Yazının konusu dışında iletmek veya sormak istediğiniz bir şey varsa iletişim formunu kullanın.
*Bir Google Hesabınız yoksa Yorumlama Biçimi seçeneklerinden "Anonim" tıklayıp yorum yapabilirsiniz.