Robots.txt Oluştürücu

Web tarayıcıları için görsel robots.txt dosya oluştürücu

Robots.txt Oluştürücu

Hızlı Şablonlar

User-Agent Blokları

Site Haritası URL'leri

Tarama Gecikmesi

Gecikme (saniye)

Hızlı Yol Ekleme

Oluştürülan robots.txt

robots.txt oluşturmak için kurallarınızı yapılandırın...

Tüm işlemler tarayıcınızda gerçekleşir. Hiçbir veri sunucuya gönderilmez.

Kullanım Örnekleri

Tüm Taramaya İzin Ver

Tüm arama motorlarının site haritası ile web sitenizin tüm sayfalarını taramasına izin veren basit bir robots.txt.

Hassas Klasörleri Engelle

Sitenin geri kalanına izin verirken admin, özel, API ve geçici klasörleri taramadan engelleyin.

Çoklu Agent Kuralları

Birden fazla user-agent bloğu ve birden fazla site haritası ile farklı arama motorları için farklı kurallar.

Özellikler

Görsel Oluştürücu

Açılır menüler, düğmeler ve sezgisel bir arayüz ile robots.txt dosyanızı görsel olarak oluştürün

Çoklu User-Agent

Her tarayıcı için farklı kurallarla birden fazla user-agent bloğu desteği

Doğrulama

robots.txt dosyanızı yaygın sorunlar ve sözdizimi hataları için doğrulayın

Gizlilik Öncelikli

Tüm işlemler tarayıcınızda yerel olarak gerçekleşir

Nasıl Kullanılır?

Kuralları Yapılandırın

User-agent seçin ve kontrol etmek istediğiniz yollar için izin ver/engelle kuralları ekleyin.

Site Haritaları Ekleyin

Arama motorlarının tüm sayfalarınızı verimli bir şekilde keşfedebilmesi için site haritası URL'lerinizi ekleyin.

Kopyala veya İndir

Oluştürülan robots.txt dosyasını kopyalayın veya indirin. Web sitenizin kök dizinine yerleştirin.

Sıkça Sorulan Sorular

robots.txt, web sitenizin kök dizinine yerleştirilen ve arama motoru tarayıcılarına hangi sayfalara veya bölümlere erişebileceklerini ya da erişemeyeceklerini söyleyen düz metin dosyasıdır. Tüm büyük tarayıcılar (Googlebot, Bingbot, DuckDuckBot) tarafından geleneksel olarak saygı duyulan Robots Exclusion Protocol'ü takip eder. Kesinlikle bir taneye ihtiyacınız yoktur — dosya yoksa, tarayıcılar her şeyi izinli kabul eder. Ancak bir robots.txt dosyasına sahip olmak, düşük değerli sayfaları (admin alanları, arama sonuç sayfaları, yinelenen içerikler) engellemenize, tarayıcıların otomatik olarak bulması için site haritası URL'nizi eklemenize ve sunucu kaynaklarını korumak için crawl-delay ayarlamanıza olanak tanır.

robots.txt taramayı engeller, indekslemeyi değil. Disallow ile engellenmiş bir sayfa, başka siteler ona bağlantı verirse hala Google arama sonuçlarında görünebilir — Google, içeriğini taramadan URL'yi indeksleyebilir ve başlığı veya açıklaması olmayan bir sonuç gösterebilir. Bir sayfanın arama sonuçlarında görünmesini tamamen engellemek için noindex meta etiketini kullanın: <meta name="robots" content="noindex">. Maksimum kapsam için her ikisini de kullanın: robots.txt içinde taramayı engelleyin ve doğrudan keşfi önlemek için noindex ekleyin.

Web sitenizin kök dizininde olmalı ve https://yourdomain.com/robots.txt adresinden erişilebilir olmalıdır. Tarayıcılar onu tam olarak bu URL'de arar — bir alt dizindeki dosya (örneğin /blog/robots.txt) göz ardı edilecektir. Bir alt alan adı (subdomain) için her alt alan adının kendi kök dizininde kendi robots.txt dosyasına ihtiyacı vardır (örneğin https://blog.yourdomain.com/robots.txt). Yükledikten sonra, URL'yi doğrudan tarayıcınızda ziyaret ederek doğrulayın.

Disallow, tarayıcılara belirli bir yola erişmemelerini söyler. Allow, aynı user-agent bloğu içindeki daha spesifik bir yol için bir Disallow kuralını geçersiz kılar — bu, bir klasörü engellemek ama içindeki belirli bir dosyaya izin vermek istediğinizde kullanışlıdır. Örneğin: Disallow: /private/ ardından Allow: /private/public.html sadece o sayfaya izin verir. Her iki kural da bir URL ile aynı derecede spesifik eşleştiğinde, Allow önceliklidir. Herhangi bir Allow veya Disallow talimatı olmadığında, her şey varsayılan olarak izinlidir.

Hayır. Sık yapılan bir hata robots.txt'e Disallow: /*.css ve Disallow: /*.js eklemektir. Googlebot, sayfalarınızı oluşturmak ve içeriklerini anlamak için CSS ve JavaScript dosyalarını çekmelidir. Bu dosyaları engellemek, Google'in sitenizin bozuk bir versiyonunu görmesine neden olabilir ve bu da sıralamalarınızı olumsuz etkileyebilir. Sadece gerçekten taranmasını istemediğiniz dosyaları ve yolları engelleyin — admin alanları, dahili arama sonuç sayfaları, yinelenen filtrelenmiş URL'ler, staging yolları.

Crawl-delay, bir tarayıcının sunucunuza yaptığı istekler arasında beklemesi gereken minimum saniye sayısını ayarlar. Örneğin, Crawl-delay: 10, bot'a sayfaları çekerken aralarında 10 saniye duraklamasını söyler. Bu, agresif tarayıcılardan kaynaklanan sunucu yükünü azaltır. Googlebot'un robots.txt içindeki Crawl-delay'i görmezden geldiğini unutmayın — Googlebot'un tarama hızını kontrol etmek için bunun yerine Google Search Console'daki tarama hızı ayarlarını kullanın. Crawl-delay, Bingbot, Yandex ve birçok daha küçük tarayıcı tarafından saygı görür.

Evet. Her User-agent bloğu yalnızca ilgili tarayıcı için geçerlidir. User-agent: * varsayılan olarak tüm tarayıcılara uygulanır. Ardından varsayılanları geçersiz kılan belirli bloklar ekleyebilirsiniz — örneğin, kendi Allow/Disallow kuralları olan bir User-agent: Googlebot ve farklı kurallara sahip bir User-agent: Bingbot. Bir tarayıcı birden fazla eşleşen blok bulduğunda (spesifik olan ve wildcard olan), en spesifik eşleşmeyi takip eder. "Add User-Agent Block" butonunu kullanarak birden fazla user-agent bloğu ekleyin.

Hayır. Tüm yapılandırma ve dosya oluşturma işlemi tarayıcınızda JavaScript ile gerçekleşir. URL'leriniz, yollarınız ve site haritası adresleriniz asla cihazınızdan ayrılmaz. Sunucu taraflı işlem, depolama veya hesap bulunmamaktadır. Sonucu kopyalayın veya dosyayı kaydetmek için Download seçeneğini kullanın — sekmeyi kapattığınızda yapılandırma silinir.

Robots.txt Oluşturucu Nedir?

Robots.txt oluşturucu, arama motoru tarayıcılarının sitenizin hangi bölümlerine erişebileceğini kontrol eden robots.txt dosyasını oluşturmanıza yardımcı olur. Sözdizimini elle yazmak yerine user agent seçersiniz, izin ver/engelle kuralları eklersiniz, sitemap URL'lerinizi girersiniz ve araç dosyayı sizin için oluşturur.

Temel Özellikler

Her tarayıcı için farklı kurallarla birden fazla user-agent bloğu. /admin/, /api/ ve /tmp/ gibi yaygın yollar için hızlı ekleme düğmeleri. Sitemap URL yönetimi. Tarama gecikmesi yapılandırması. Dağıtımdan önce sözdizimi hatalarını yakalamak için dahili doğrulama. Tümüne izin ver, tümünü engelle ve klasörleri engelle senaryoları için hazır şablonlar.

Yaygın Kullanım Alanları

Admin panellerini ve API uç noktalarını tarayıcılardan engelleme. Arama motorlarının tüm sayfalarınızı bulması için sitemap URL'leri ekleme. Googlebot ve diğer botlar için farklı kurallar belirleme. Sunucunuzu çok zorlayan botlar için tarama gecikmesi ekleme.

İpuçları

Sitemap URL'nizi her zaman ekleyin. Arama motorlarının sayfalarınızı render etmesi gereken CSS ve JS dosyalarını engellemeyin. robots.txt'inizi Google Search Console'un robots.txt test aracıyla test edin. robots.txt halka açık olduğunu unutmayın, hassas URL'leri gizlemek için kullanmayın.

Gizlilik

Her şey tarayıcınızda çalışır. URL'ler veya kurallar hiçbir sunucuya gönderilmez.

Güvenlik ve Gizlilik

Verilerinizin güvenliği bizim önceliğimiz

Yerel İşleme

Tüm işlemler tarayıcınızda gerçekleşir

Veri Transferi Yok

Verileriniz sunucularımıza gönderilmez

Veri Depolama Yok

Hiçbir veri depolanmaz veya paylaşılmaz

SSL Şifreleme

Güvenli bağlantı için SSL şifreleme

Sonraki Adım

Meta Etiket Oluşturucu

SEO için HTML meta etiketleri oluşturun

Rewrite Kural Oluşturucu

Apache (.htaccess), Nginx ve IIS (web.config) için redirect/rewrite kuralları oluşturun

Bu araç işinize yaradı mı?

Robots.txt Oluştürücu