Robots.txt Oluşturucu ne işe yarar?
robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi bölümleri taramamaları gerektiğini söyleyen bir metin dosyasıdır. Yönetim paneli, sepet, filtre ve arama sonuç sayfaları gibi değersiz veya kopya içerik üreten alanların taranmasını engellemek tarama bütçesini verimli kullanmanızı sağlar.
Araç, yapay zekâ modellerini eğitmek için içerik toplayan botları (GPTBot, CCBot, Google-Extended vb.) engelleme seçeneği de sunar.
Robots.txt Oluşturucu nasıl kullanılır?
- Kuralları bot bazında tanımlayın.
- Sitemap adresinizi ekleyin.
- Dosyayı indirip sitenizin kök dizinine (/robots.txt) yükleyin.
Varsayımlar ve sınırlamalar
- Disallow, sayfanın dizine eklenmesini kesin olarak engellemez; dizinden çıkarmak için noindex kullanın.
Sıkça sorulan sorular
robots.txt ile sayfayı Google'dan kaldırabilir miyim?
Hayır. Engellenen sayfa başka sitelerden bağlantı alırsa yine dizinde görünebilir. Kaldırmak için sayfaya noindex ekleyin ve taranmasına izin verin.