Penjana Robots.txt
Penjana fail robots.txt visual untuk perangkak web
Konfigurasi Robots.txt
Blok User-Agent
URL Sitemap
Kelewatan Rangkak
Tambah Laluan Pantas
robots.txt Yang Dijana
Contoh Penggunaan
Benarkan Semua
Robots.txt ringkas yang membenarkan semua enjin carian merangkak semua halaman dengan sitemap.
Sekat Folder Sensitif
Sekat folder admin, peribadi, API dan sementara sambil membenarkan laman yang lain.
Peraturan Pelbagai Agen
Peraturan berbeza untuk enjin carian berbeza dengan pelbagai blok dan sitemap.
Ciri-ciri
Pembina Visual
Bina robots.txt anda secara visual dengan antara muka yang intuitif
Pelbagai User-Agent
Sokongan untuk pelbagai blok user-agent dengan peraturan berbeza
Pengesahan
Sahkan robots.txt anda untuk masalah biasa dan ralat sintaks
Privasi Diutamakan
Semua pemprosesan berlaku secara tempatan dalam pelayar anda
Cara Menggunakan?
Konfigurasikan Peraturan
Pilih user-agent dan tambah peraturan benarkan/larang untuk laluan yang ingin dikawal.
Tambah Sitemap
Tambah URL sitemap supaya enjin carian boleh menemui halaman anda.
Salin atau Muat Turun
Salin atau muat turun robots.txt yang dijana. Letakkan di direktori akar laman web anda.
Soalan Lazim
Apakah penjana robots.txt?
Penjana robots.txt membantu anda membina fail yang mengawal bahagian laman web mana yang boleh diakses perangkak enjin carian. Daripada menulis sintaks secara manual anda pilih user agent tambah peraturan allow/disallow masukkan URL sitemap dan alat menjana fail untuk anda.
Ciri-ciri utama
Pelbagai blok user-agent dengan peraturan berbeza setiap perangkak. Butang pantas untuk laluan biasa seperti /admin/ /api/ dan /tmp/. Pengurusan URL sitemap. Konfigurasi crawl-delay. Pengesahan terbina untuk mengesan ralat sintaks. Praset untuk senario biasa.
Kes penggunaan biasa
Menyekat panel admin dan endpoint API daripada perangkak. Menambah URL sitemap supaya enjin carian menemui semua halaman. Menetapkan peraturan berbeza untuk Googlebot dan bot lain.
Petua
Sentiasa sertakan URL sitemap anda. Jangan sekat fail CSS dan JS yang enjin carian perlukan untuk merender halaman anda. Ingat bahawa robots.txt adalah awam jangan gunakannya untuk menyembunyikan URL sensitif.
Privasi
Semuanya berjalan dalam pelayar anda. Tiada URL atau peraturan dihantar ke mana-mana pelayan.