Robots.txt Dosyası Nasıl Olmalı ve Kullanımı

Robots.txt Dosyası Nedir ? Robots.txt Dosyası, Kısaca sitede bulunan ve arama sistemi robotları için tasarlanmış metin dosyasıdır. Bu metin belgesine komutlar yazarak bazı sayfalarınızın engellenmesi...

967 0
967 0
robots.txt dosyası

Robots.txt Dosyası Nedir ?

Robots.txt Dosyası, Kısaca sitede bulunan ve arama sistemi robotları için tasarlanmış metin dosyasıdır. Bu metin belgesine komutlar yazarak bazı sayfalarınızın engellenmesi veya indexlemesi gibi komutları google botlarına belirtmek için kullanılan Robots.txt dosyasıdır.

Robots.txt Dosyası Nasıl olmalı ?

Herhangi bir metin düzenleyicisi (örneğin, Not Defteri veya WordPad) kullanarak “robots.txt” adında bir dosya oluşturun ve bu dosyayı aşağıda verilen kurallara uygun olarak doldurun. Daha sonra bu dosya sitenizin kök dizinine ( public_html ) İçerisine Atın.

Robots.txt Dosyası İçeriği Nasıl olmalı ?

Size vereceğim kodlar sitenizdeki konuların google botların gözünden kaçmamasına olanak sağlar ve tüm konularınız google aramalarında çıkar. Ayrıca Botlar ilk önce sitenizin ana dizinindeki dosyaları kontrol eder bunlardan biride Robots.txt Dosyasıdır.

google_bot
google_bot

Önerilen Robots.txt Kodları

  1. Genel olarak kullanılır. Sitenizdeki Her şeyi indexler.
User-agent: *
Disallow:

2.  Benim kullandığım Robots.txt Dosyası
Ben site haritasını da belirttim Çünkü tüm konu linkleri site haritasında bulunur. Goole ın ilk önce konu linklerini de görmesini sağlamış oldum.

User-agent: *
Disallow:
Sitemap: http://teknogezgini.net/sitemap.xml

Şimdi yapmış olduğumuz dosyayı kontrol edin. Aşağıda site adı yazan yere site adı yazın test edin.

http://SiteAdı.net/robots.txt

Son olarak Google webmasters tools Sitesine giderek kontrol edin.

Makaledeki Etiketler:

sohbete katıl

sohbete katıl