robots.txt ve Sitemap Oluşturucu
Arama motorlarının sitenizi nasıl tarayacağını siz belirleyin: engellemek istediğiniz yolları seçin, sitemap adresinizi girin, dosyaları kopyalayıp yükleyin.
Site adresini girin; robots.txt burada oluşur.
URL listesini girin; sitemap.xml burada oluşur.
Bazı arama motorları tüm botları engelleyen kuralları yok sayar. Yalnızca kendi botunuzu engellemek istiyorsanız
User-agent: Googlebot veya User-agent: GPTBot gibi bir satırı üretilen dosyanın başına elle ekleyin.
GPTBot ve ClaudeBot satırlarını da eklemek, yapay zeka yanıt motorlarının sitenizi taramasını kontrol etmenizi sağlar.
robots.txt, arama motoru botlarının sitenizde hangi klasörleri gezmemesi gerektiğini söyler. sitemap.xml ise sayfalarınızın tam listesini arama motoruna bildirir. Bu araç ikisini de doğru biçimde üretir: engellemek istediğiniz yolları satır satır yazarsınız, sitemap adresinizi ve sayfa adreslerinizi girersiniz, dosyalar hazır olur. Üretilen robots.txt dosyasını sitenin kök dizinine (public_html/robots.txt), sitemap.xml dosyasını da aynı yere (public_html/sitemap.xml) yükleyin ve sitemap adresini Google Search Console'a bildirin. Girdileriniz sunucuya gönderilmez.
robots.txt ve Sitemap Hakkında
robots.txt olmazsa ne olur?
Arama motoru sitenizin tamamını tarayabilir. Bu çoğu zaman istediğiniz şeydir; ancak yönetim paneli, sepet veya arama sonuç sayfaları gibi gereksiz klasörlerin taranmasını istemezseniz dosya şart olur.
Engellediğim sayfalar arama sonuçlarından düşer mi?
Hayır. Engellemek bir sayfayı dizinden çıkarmaz; yalnızca o sayfanın taranmasını ve bağlantılarının takip edilmesini engeller. Dizinlemek istemediğiniz sayfalar için noindex kullanın.
Sitemap.xml dosyasını nereye yükleyeceğim?
Dosyayı sitenin kök dizinine (public_html/sitemap.xml) yükleyin ve adresini Google Search Console ile Bing Webmaster Tools'a bildirin. robots.txt içindeki Sitemap satırı da bu adresi gösterir.
Bu araç üyelik gerektiriyor mu?
Gerekmez. Araç tamamen tarayıcınızda çalışır, yazdığınız adresler sunucuya gönderilmez.