06:12:2018
Robot.txt Nedir ve Neden Gereklidir?
Robots.txt, web crawler yani örümcek dedigimiz arama motoru yazilimlarinin sitemizde ilk ziyaret edecegi kök dizini dosyasidir. Site sahibi arama motorlarinin hangi sayfalari dolasacagini hangilerini dolasmayacagini bildirdigi dosyadir.
Burada dikkat edilecek en önemli husus robot.txt dosyasinin içerdigi komutlarin dogru verilmesi gerektigidir. Eger herhangi bir yanlislik söz konusu olursa sitenizin Google tarafindan yanlis dolasilmasiyla istenmeyen sonuçlar ortaya çikabilir. Bu dosya mutlaka her web sitesinde bulunmasi gereklidir.
Robot.txt Dosyasi Nasil Olusturulur?
Çok zor olmamakla beraber dogru bir sekilde olusturulmasi için bazi hususlara dikkat edilmelidir.
Bilgisayar üzerinden herhangi bir metin düzenleyici örnegin sublimeText ya da not defteri açip adini robots.txt yapin. Sonrasinda ise dosya içerisine gerekli komutlari kaydedip sitenizin kök dizinine yükleyerek islemi sonlandirin.
Dosyamizin UTF-8 karakter kodlamasina uygun olarak hazirlanmasina ve site URL'iyle ayni formatta olmasina dikkat edin.
Dosyamizi kaydettikten sonra arama motorumuza www.sitemiz.com/robot.txt yazdigimizda 404 not found hatasi almiyor ve Google robot txt test aracindan izin verildi yazisini aliyor isek dosyamizi olusturma islemimiz basari ile tamamlanmistir.
Bazi Robot.txt komutlari
User-agent: Sitenize hangi arama motoru botunun gelip hangisinin gelemeyecegini bildirmenizi saglar. Sitemiz tamamen kullanima açilmis ise bu kisimda herhangi bir kisitlama yapmamiz gerekir. Eger siteniz arama motorlari tarafindan taranmasini istemiyorsaniz bu komutu dizin engelleme komutu olan disallow ile saglayabilirsiniz user-agent: * allow: / komutunu tek basina kullanirsaniz her dizine izin vermis olursunuz. Eger belirli bir dizini taramasini isterseniz tekrardan allow komutu sonra adresi yazmalisiniz. Fakat admin bilgilerinin indexlenmesi istemeyeceginiz bir durum oldugu için pek kullanilmaz.
Disallow: Bu komut ise sitenizdeki hangi sayfalarin taranmasini istemediginizi belirtmenizi saglar. Örnegin? user-agent: * disallow: /seo/
Bu komutlar ile www.siteniz.com/seo sitesinde seo dizini ve buna bagli hiç bir sayfa dizine eklenemez.
Crawl-delay: Eger sunucu hatasi yasayan ve ziyaretçi sayisi yüksek oldugu için geçici süreli hizmet sikintilari yasayan sitelerde kullanilan bu komut botlarin site tarama süresini belirlememize olanak saglar. ?Örnegin:? user-agent: * (bot türü belirtilebilir.) crawl-delay: 1
Site haritasi da belirtilebilir bu dosyanin içinde örnegin: user-agent: * Sitemap: www.siteniz.com/sitemap.xml?
Sonuç olarak bu ve bunun gibi birçok kod içeren bu sayfa sitenizin daha çok ziyaretçi sayisina ulasmasi için yapilan islemlerden birisidir. Fillsoftware yazilim ekibi olarak profesyonel olan bu islemlerin hepsi titizlikle yapilmaktadir.
