MoreOnlineTools
ESC

Penjana Robots.txt

Penjana fail robots.txt visual untuk perangkak web

Konfigurasi Robots.txt

Blok User-Agent
URL Sitemap
Kelewatan Rangkak
Tambah Laluan Pantas

robots.txt Yang Dijana

Konfigurasikan peraturan anda untuk menjana robots.txt...
Semua pemprosesan berlaku dalam pelayar anda. Tiada data dihantar ke pelayan.

Contoh Penggunaan

Benarkan Semua

Robots.txt ringkas yang membenarkan semua enjin carian merangkak semua halaman dengan sitemap.

Sekat Folder Sensitif

Sekat folder admin, peribadi, API dan sementara sambil membenarkan laman yang lain.

Peraturan Pelbagai Agen

Peraturan berbeza untuk enjin carian berbeza dengan pelbagai blok dan sitemap.

Ciri-ciri

Pembina Visual

Bina robots.txt anda secara visual dengan antara muka yang intuitif

Pelbagai User-Agent

Sokongan untuk pelbagai blok user-agent dengan peraturan berbeza

Pengesahan

Sahkan robots.txt anda untuk masalah biasa dan ralat sintaks

Privasi Diutamakan

Semua pemprosesan berlaku secara tempatan dalam pelayar anda

Cara Menggunakan?

1

Konfigurasikan Peraturan

Pilih user-agent dan tambah peraturan benarkan/larang untuk laluan yang ingin dikawal.

2

Tambah Sitemap

Tambah URL sitemap supaya enjin carian boleh menemui halaman anda.

3

Salin atau Muat Turun

Salin atau muat turun robots.txt yang dijana. Letakkan di direktori akar laman web anda.

Soalan Lazim

robots.txt ialah fail teks ringkas yang diletakkan di direktori akar laman web anda yang memberitahu crawler enjin carian halaman atau bahagian mana yang boleh atau tidak boleh mereka akses. Ia mengikut Protokol Pengecualian Robots, yang dihormati oleh semua crawler utama (Googlebot, Bingbot, DuckDuckBot) secara konvensyen. Anda tidak semestinya memerlukannya — jika fail itu tiada, crawler akan menganggap semuanya dibenarkan. Tetapi mempunyai robots.txt membolehkan anda menyekat halaman bernilai rendah (kawasan admin, halaman hasil carian, kandungan bertindih), menambah URL sitemap supaya crawler menemuinya secara automatik, dan menetapkan crawl-delay untuk melindungi sumber pelayan.

robots.txt menyekat crawling, bukan indexing. Halaman yang disekat oleh Disallow masih boleh muncul dalam keputusan carian Google jika laman lain memaut kepadanya — Google mungkin mengindeks URL tanpa merayap kandungan tersebut, menunjukkan keputusan tanpa tajuk atau keterangan. Untuk menghalang sepenuhnya halaman daripada muncul dalam keputusan carian, gunakan meta tag noindex: <meta name="robots" content="noindex">. Untuk liputan maksimum, gunakan kedua-duanya: sekat crawling dalam robots.txt dan tambah noindex untuk menghalang indexing melalui penemuan terus.

Ia mesti berada di direktori akar laman web anda dan boleh diakses di https://yourdomain.com/robots.txt. Crawler mencarinya tepat pada URL tersebut — fail dalam subdirektori (contohnya /blog/robots.txt) akan diabaikan. Untuk subdomain, setiap subdomain memerlukan robots.txt sendiri di akarnya sendiri (contohnya https://blog.yourdomain.com/robots.txt). Selepas memuat naik, sahkan dengan melawat URL tersebut secara terus dalam pelayar anda.

Disallow memberitahu crawler supaya tidak mengakses laluan tertentu. Allow mengatasi Disallow untuk laluan yang lebih spesifik dalam blok user-agent yang sama — berguna apabila anda ingin menyekat folder tetapi membenarkan fail tertentu di dalamnya. Sebagai contoh: Disallow: /private/ kemudian Allow: /private/public.html hanya membenarkan satu halaman tersebut. Apabila kedua-dua peraturan sepadan dengan URL secara spesifik, Allow akan diberikan keutamaan. Tanpa sebarang arahan Allow atau Disallow, semuanya dibenarkan secara lalai.

Tidak. Kesalahan biasa adalah menambah Disallow: /*.css dan Disallow: /*.js ke dalam robots.txt. Googlebot perlu mengambil CSS dan JavaScript untuk merender halaman anda dan memahami kandungannya. Menyekat fail ini boleh menyebabkan Google melihat versi laman yang rosak, yang mungkin menjejaskan kedudukan anda. Hanya sekat fail dan laluan yang anda benar-benar tidak mahu dirayap — kawasan admin, halaman hasil carian dalaman, URL ditapis bertindih, laluan staging.

Crawl-delay menetapkan jumlah minimum saat yang perlu ditunggu oleh crawler antara permintaan ke pelayan anda. Sebagai contoh, Crawl-delay: 10 memberitahu bot untuk berhenti selama 10 saat antara pengambilan halaman. Ini mengurangkan beban pelayan daripada crawler yang agresif. Perhatikan bahawa Googlebot mengabaikan Crawl-delay dalam robots.txt — untuk mengawal kadar crawling Googlebot, gunakan tetapan kadar crawling di Google Search Console sebagai ganti. Crawl-delay dihormati oleh Bingbot, Yandex, dan banyak crawler kecil.

Ya. Setiap blok User-agent hanya terpakai untuk crawler tersebut. User-agent: * terpakai untuk semua crawler sebagai lalai. Anda kemudian boleh menambah blok khusus yang mengatasi nilai lalai — contohnya, User-agent: Googlebot dengan set aturan Allow/Disallow miliknya sendiri, dan User-agent: Bingbot dengan aturan berbeza. Apabila crawler menemui pelbagai blok yang sepadan (yang spesifik dan wildcard), ia akan mengikut padanan yang paling spesifik. Tambah beberapa blok user-agent menggunakan butang "Add User-Agent Block".

Tidak. Semua konfigurasi dan penjanaan fail berlaku dalam pelayar anda dengan JavaScript. URL, laluan, dan alamat sitemap anda tidak akan meninggalkan mesin anda. Tiada pemprosesan di pihak pelayan, tiada storan, dan tiada akaun. Salin keputusan atau gunakan Download untuk menyimpan fail — sebaik sahaja anda menutup tab tersebut, konfigurasi akan hilang.

Apakah penjana robots.txt?

Penjana robots.txt membantu anda membina fail yang mengawal bahagian laman web mana yang boleh diakses perangkak enjin carian. Daripada menulis sintaks secara manual anda pilih user agent tambah peraturan allow/disallow masukkan URL sitemap dan alat menjana fail untuk anda.

Ciri-ciri utama

Pelbagai blok user-agent dengan peraturan berbeza setiap perangkak. Butang pantas untuk laluan biasa seperti /admin/ /api/ dan /tmp/. Pengurusan URL sitemap. Konfigurasi crawl-delay. Pengesahan terbina untuk mengesan ralat sintaks. Praset untuk senario biasa.

Kes penggunaan biasa

Menyekat panel admin dan endpoint API daripada perangkak. Menambah URL sitemap supaya enjin carian menemui semua halaman. Menetapkan peraturan berbeza untuk Googlebot dan bot lain.

Petua

Sentiasa sertakan URL sitemap anda. Jangan sekat fail CSS dan JS yang enjin carian perlukan untuk merender halaman anda. Ingat bahawa robots.txt adalah awam jangan gunakannya untuk menyembunyikan URL sensitif.

Privasi

Semuanya berjalan dalam pelayar anda. Tiada URL atau peraturan dihantar ke mana-mana pelayan.

Keselamatan dan Privasi

Keselamatan data anda adalah keutamaan kami

Pemprosesan Tempatan

Semua pemprosesan berlaku dalam pelayar anda

Tiada Pemindahan Data

Data anda tidak dihantar ke pelayan kami

Tiada Penyimpanan Data

Tiada data disimpan atau dikongsi

Penyulitan SSL

Penyulitan SSL untuk sambungan selamat

Langkah Seterusnya

Penjana Meta Tag

Jana tag meta HTML untuk pengoptimuman SEO

Penjana Peraturan Tulis Semula

Jana peraturan pengalihan dan tulis semula untuk Apache (.htaccess), Nginx, dan IIS (web.config)

Alat Berkaitan

Penjana Border Radius

Jana CSS border-radius dengan pratonton visual dan kod sedia guna

Penjana CSS Grid

Taman permainan visual CSS Grid dengan pratonton langsung dan penjanaan kod

Pemapar Jadual JSON

Lihat data JSON sebagai jadual interaktif dengan isihan dan eksport CSV

Pengekod Entiti HTML

Enkod dan dekod entiti HTML dan aksara khas

Penjana Kod QR

Cipta kod QR profesional dengan logo dan warna tersuai

Pemformat SQL

Cantikkan dan format pertanyaan SQL

Lebih Banyak di MoreOnlineTools

Alat Dalam Talian Percuma

109 alat untuk teks, imej, keselamatan dan pembangunan

Semak Semua Alat →
Helaian Rujukan Pembangun

Rujukan pantas untuk Regex, Git, kod HTTP, CSS, Markdown dan lagi

Semak Helaian Rujukan →
Kalkulator Dalam Talian

BMI, pinjaman, peratusan, tip, umur dan kalkulator praktikal lain

Semak Kalkulator →
Koleksi Alat

Aliran kerja terpilih: pembangunan API, saluran imej, audit keselamatan dan lagi

Semak Koleksi →