Robots.txt Generator

SEO Analiz Araçları

Robots.txt Generator


Varsayılan - Tüm Robotlar:  
    
Tarama-Gecikme:
    
Site haritası: (eğer yoksa boş bırakın) 
     
Arama Robotları: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Sınırlı Dizinler: Yol köke göredir ve sonda eğik çizgi içermelidir "/"
 
 
 
 
 
 
   



Şimdi, kök dizininizde 'robots.txt' dosyasını oluşturun. Metnin üstüne kopyalayın ve metin dosyasına yapıştırın.


Hakkında Robots.txt Generator

Robots.txt Generator nedir?

Robots.txt, bir web sitesinin nasıl taranacağına dair talimatları içeren dosyadır. Peki, Robots.txt Generator yani robots.txt oluşturucu araç nedir, nasıl kullanılır?

Robotların dışlanma protokolü olarak da bilinen ve bu standart siteler tarafından web sitelerinin hangi bölümünün indekslenmesi gerektiğini anlatmak için kullanılan Robots.txt Generator ile bu tarayıcılar tarafından hangi alanların işlenmesini istemediğinizi de belirleyebilirsiniz. Bu tür alanlar yinelenen içerik içerir veya geliştirilme aşamasındadır. Kötü amaçlı yazılım dedektörleri, e-posta toplayıcıları gibi botlar bu standarda uymaz ve menkul kıymetlerinizin zayıf yanlarını tararlar. Sitenizi dizine alınmasını istemediğiniz alanlardan incelemeye başlama olasılıkları büyüktür.

Robots.txt dosyası kolay değildir. Yanlış bir satır oluşturmanız sayfanıza zarar verebilir. Bu yüzden işi profesyonellere bırakmak daha iyidir. Robots.txt Generator sizin için robots.txt üretebilir... Bu küçük dosya web siteniz için daha iyi bir seviyenin kilidini açmanın bir yoludur.

ROBOTS.TXT GENERATOR VE ÖZELLİKLERİ

Google bir tarama bütçesiyle çalışır; bu bütçe bir tarama limitine dayanır. Tarama sınırı, tarayıcıların bir web sitesinde harcayacağı zaman sayısıdır. Ancak Google sitenizi taramanın kullanıcı deneyimini önemsemediğini fark ederse, siteyi daha yavaş tarar. Bu, en son yayınınızın dizine eklenmesinin zaman alacağı anlamına gelir. Bu kısıtlamayı kaldırmak için web sitenizin bir site haritası ve bir robots.txt dosyasının olması gerekir. Bu dosyalar, sitenizin hangi bağlantılarının daha fazla dikkat gerektirdiğini söyleyerek tarama işlemini hızlandırır.

NASIL KULLANILIR?

Öncelikle sitenize hangi botlarında ulaşabileceği bilgisini girin. Seçimi Robots.txt Genaretor'e bırakırsanız erişim için tüm robotlara izin verilir. Sonrasında 5-120 saniye aralığında bir geciktirme komutu seçmelisiniz. Siteniz içerisinde sitemap varsa onu da mevcut alana yapıştırıp adımları uygulamaya devam edin. Bu noktada web sitenizi taramasını istediğiniz botları seçeceksiniz. En son da dizinleri kısıtlama yaparak aracı kullanıma hazır hale getireceksiniz. Eğik çizgi (/) koyduğunuz dizin kısıtlanmış sayılır. Artık Robots.txt Generator kullanarak siteniz için yararlı olarak robots.txt dosyası oluşturdunuz. Bu dosyayı sitenizin kök dizinine ekleyebilirsiniz.