เครื่องสร้าง Robots.txt
เครื่องสร้างไฟล์ robots.txt แบบภาพสำหรับ web crawler
การกำหนดค่า Robots.txt
บล็อก User-Agent
URL Sitemap
การหน่วงเวลา Crawl
เพิ่มเส้นทางด่วน
robots.txt ที่สร้างขึ้น
ตัวอย่างการใช้งาน
อนุญาตทั้งหมด
robots.txt อย่างง่ายที่อนุญาตให้เครื่องมือค้นหาทั้งหมดรวบรวมข้อมูลทุกหน้าพร้อม sitemap
บล็อกโฟลเดอร์ที่ละเอียดอ่อน
บล็อกโฟลเดอร์ admin, private, API และ tmp จากการรวบรวมข้อมูลในขณะที่อนุญาตส่วนที่เหลือ
กฎหลายตัวแทน
กฎที่แตกต่างกันสำหรับเครื่องมือค้นหาต่างๆ พร้อมบล็อกหลายตัวและ sitemap หลายรายการ
คุณสมบัติ
ตัวสร้างแบบภาพ
สร้าง robots.txt แบบภาพด้วยอินเทอร์เฟซที่ใช้งานง่าย
User-Agent หลายตัว
รองรับบล็อก user-agent หลายตัวพร้อมกฎที่แตกต่างกัน
การตรวจสอบ
ตรวจสอบ robots.txt สำหรับปัญหาทั่วไปและข้อผิดพลาดทางไวยากรณ์
ความเป็นส่วนตัวมาก่อน
การประมวลผลทั้งหมดเกิดขึ้นในเบราว์เซอร์ของคุณ
วิธีใช้งาน
กำหนดค่ากฎ
เลือก user-agent และเพิ่มกฎอนุญาต/ปฏิเสธสำหรับเส้นทางที่ต้องการควบคุม
เพิ่ม Sitemap
เพิ่ม URL sitemap เพื่อให้เครื่องมือค้นหาค้นพบหน้าของคุณอย่างมีประสิทธิภาพ
คัดลอกหรือดาวน์โหลด
คัดลอกหรือดาวน์โหลด robots.txt ที่สร้างขึ้น วางในไดเรกทอรีรากของเว็บไซต์
คำถามที่พบบ่อย
เครื่องสร้าง robots.txt คืออะไร?
เครื่องสร้าง robots.txt ช่วยคุณสร้างไฟล์ที่ควบคุมว่าบอทเครื่องมือค้นหาสามารถเข้าถึงส่วนใดของเว็บไซต์ แทนที่จะเขียนไวยากรณ์ด้วยมือ คุณเลือก user agent เพิ่มกฎ allow/disallow ใส่ URL sitemap แล้วเครื่องมือจะสร้างไฟล์ให้
คุณสมบัติหลัก
หลายบล็อก user-agent พร้อมกฎต่างกันสำหรับแต่ละบอท ปุ่มเพิ่มด่วนสำหรับเส้นทางทั่วไปเช่น /admin/ /api/ และ /tmp/ การจัดการ URL sitemap การกำหนดค่า crawl-delay การตรวจสอบในตัวเพื่อตรวจจับข้อผิดพลาดไวยากรณ์ พรีเซ็ตสำหรับสถานการณ์ทั่วไป
กรณีใช้งานทั่วไป
บล็อกแผงผู้ดูแลระบบและ API endpoint จากบอท เพิ่ม URL sitemap เพื่อให้เครื่องมือค้นหาพบทุกหน้า ตั้งกฎต่างกันสำหรับ Googlebot กับบอทอื่น
เคล็ดลับ
ใส่ URL sitemap เสมอ อย่าบล็อกไฟล์ CSS และ JS ที่เครื่องมือค้นหาต้องใช้ในการเรนเดอร์หน้า จำไว้ว่า robots.txt เป็นสาธารณะ อย่าใช้เพื่อซ่อน URL ที่สำคัญ
ความเป็นส่วนตัว
ทุกอย่างทำงานในเบราว์เซอร์ ไม่มี URL หรือกฎถูกส่งไปยังเซิร์ฟเวอร์ใดๆ