Google, 1 Eylül 2019 tarihinden itibaren Robots.txt dosyasındaki noindex komutlarını dikkate almayacağını duyurdu. Resmi açıklama link için tıklayınız: https://twitter.com/googlewmc/status/1145950977067016192
Bildiğiniz üzere sitemiz üzerindeki, index almasını istemediğimiz linkleri kodlamada müdahale edemiyorsak, robots.txt dosyası ile noindex yapabiliyorduk. Google’dan gelen açıklamaya göre 1 Eylül 2019 tarihinden itibaren Robots.txt dosyası ile noindex atadığımız linkler artık dikkate alınmayacak. Buda şu demektir. Bundan sonraki süreçte, noindex istediğimiz tüm sayfaları, kodlamada no index, no follow bulundurmamız gerekiyor. Yapmaz isek , bu linkleri Google tarafından taranacak ve indexe alınacaktır.
Bu değişim SEO ve WEB dünyası için aslında devrim niteliğinde bir gelişmedir. Çünkü dikkate alınmaz ise sadece Robots.txt ile yasaklanmış, tüm klasör yapılarının index alması söz konusudur. Buda normal düzeyde ilerleyen organik sıralamaların, tepetaklak olacağı anlamına gelmektedir.
Konuya, asıl etki yaratacak olan zayıf ve kopya ( dublicate) sayfalar açısından bakmamız gerekiyor. Normalde bir websitesinde, kategoriler ve bu kategorilere bağlı içerik veya ürünler olur. Ama sistemin kullanıcı açısından daha özele indirgenerek, kullanılması için bazı filtre parametreler eklenir. Kullanıcı bu filtrelere tıkladığında, bulunduğu sayfa, seçime göre yeniden listelenir. Bu aynı zamanda bulunduğu kategori linkinin sonuna, ilgili filtre parametresininde gelmesi anlamına gelir. Bu yazılımdan yazılıma farklılık göstermektedir.
Bu örnekteki gibi birçok farklı varyasyon düşünülebilir. Eğer ki bu tür sonradan oluşan linklerimiz var ise ve sadece robots.txt ile bu sayfaları indexten hariç tutuyorsak, artık bu şansımız olmayacak. Yazılımsal olarak, noindex kodlanmadığı sürece bunun gibi linkler, mevcut kategorinin onlarca farklı clon linkini ( kopyasını) oluşturacaktır ve zamanla bu kategorinin arama sonuçlarında gerilemesine sebep olacaktır.
Bunun gibi site içerindeki arama sayfaları da genelde robots.txt ile yasaklanır. Bu çok daha fazla kontrol dışı sayfanın index alması demektir. Bu gibi sayfalara önlem alınmaz ise, devasa sistemler organikte çöküş yaşayabilir.
