Web sitenizden en iyi şekilde yararlanmak ve rekabet konusunda geride kalmamak için, teknik anlamda SEO bilgisi şarttır. Bu yazımızda, teknik SEO’nun en önemli kavramlarından birini açıklayacağım: Taranabilirlik.
Google Bot nedir?
Google gibi bir arama motoru, taramak için kullandığı botlardan, bir dizin ve bir algoritmadan oluşur. Tarayıcı botlar bağlantıları izler. Google’un tarayıcı botları web sitenizi bulduğunda, onu okur ve Google dizinine kaydeder.
Tarayıcı botlar, web’deki bağlantıları izler. Bir tarayıcıya robot, bot veya örümcek de denir. İnternette 7/24 dolaşırlar. Bir web sitesine geldiğinde, bir sayfanın HTML sürümünü dizin adı verilen devasa bir veri tabanına kaydeder. Bu dizin, tarayıcı bot web sitenize her geldiğinde ve yeni veya revize edilmiş bir içerik sürümü bulduğunda güncellenir. Google ‘un sitenizi ne kadar önemli gördüğüne ve web sitenizde yaptığınız değişikliklerin sayısına bağlı olarak, tarayıcı az ya da çok gelir.
Taranabilirlik Nedir?
Taranabilirlik, Google’un web sitenizi taraması için sahip olduğu olasılıklarla ilgilidir. Tarayıcı botlar sitenizden engellenebilir. Bir tarayıcıyı web sitenizden engellemenin birkaç yolu vardır. Web siteniz veya web sitenizdeki bir sayfa engellenmişse, Google’ın tarayıcısına “bu sayfayı index alma” diyorsunuz. Bu durumda siteniz veya ilgili sayfa arama sonuçlarında görünmeyecektir.
Google ‘un web sitenizi taramasını (veya dizine eklemesini) engelleyebilecek birkaç yöntem vardır:
- Eğer robots.txt dosyası içinde site geneli veya ilgili sayfaya Allow: / yazarsanız izin vermiş olursunuz. Disallow: / yazarsanız engellemiş olursunuz.
Örnek :
Allow: /
Disallow: /banner
- Tarayıcı bot, web sitenizi taramadan önce sayfanızın HTTP başlığına bir göz atacaktır. Bu HTTP başlığı bir durum kodu içerir . Bu durum kodu bir sayfanın olmadığını söylüyorsa, Google web sitenizi taramayacaktır. Mesela 404 kodu kodu o sayfanın var olmadığını bildiren HTTP status kodudur. 500 veya 503 gibi kodlar ise sunucu veya yazılımsal hatadan kaynaklı o sayfaya erişimin yapılamadığını sinyalini verir. Buda yine taramayı engelleyecektir.
- Eğer meta etiketleri ile belirli bir sayfayı index yasağı koyarsanız buda o sayfanın indexe eklenmesini engelleyecektir. Örnek olarak bir sayfanın kodunda <meta name=”robots” content=”NO FOLLOW, NO INDEX”/> kodu yer alırsa Google tarasa dahi indexine almayacaktır.
Google Bot Çağırma
Mevcut bir sayfanızda düzenleme yapmış iseniz veya yeni bir sayfa aktif ettiyseniz, Google dizininde de biran öce görmek isterseniz. Bu durumda ilk yapacağınız işlem Google botlarını çağırmak olacaktır.
Şimdi Google botlarını nasıl çağıracağımızı kısaca inceleyelim.
Herhangi bir URL’yi çağırmak için search konsolumuzda aşağıdaki ekran görüntüsünde gördüğünüz gibi URL denetimi yapmaktır.
Linki yapıştırdıktan sonra aşağıdaki gibi Google sayfayı getirecektir. Sonrasında dizine eklenmesini iste butona basmanız yeterlidir. 5-10 saniye aralığında işlem yaparak Google talimatı alacaktır. Yalnız bir konuya dikkat çekmek istiyorum. Bu işlem yapıldığında her zaman Google hızlıca dizine eklemeyebilir. Özellikle içerik özgün değilse bu durum çok daha olasıdır .
