MoreOnlineTools
ESC

เครื่องสร้าง Robots.txt

เครื่องสร้างไฟล์ robots.txt แบบภาพสำหรับ web crawler

การกำหนดค่า Robots.txt

บล็อก User-Agent
URL Sitemap
การหน่วงเวลา Crawl
เพิ่มเส้นทางด่วน

robots.txt ที่สร้างขึ้น

กำหนดค่ากฎของคุณเพื่อสร้าง robots.txt...
การประมวลผลทั้งหมดเกิดขึ้นในเบราว์เซอร์ ไม่มีข้อมูลถูกส่งไปยังเซิร์ฟเวอร์

ตัวอย่างการใช้งาน

อนุญาตทั้งหมด

robots.txt อย่างง่ายที่อนุญาตให้เครื่องมือค้นหาทั้งหมดรวบรวมข้อมูลทุกหน้าพร้อม sitemap

บล็อกโฟลเดอร์ที่ละเอียดอ่อน

บล็อกโฟลเดอร์ admin, private, API และ tmp จากการรวบรวมข้อมูลในขณะที่อนุญาตส่วนที่เหลือ

กฎหลายตัวแทน

กฎที่แตกต่างกันสำหรับเครื่องมือค้นหาต่างๆ พร้อมบล็อกหลายตัวและ sitemap หลายรายการ

คุณสมบัติ

ตัวสร้างแบบภาพ

สร้าง robots.txt แบบภาพด้วยอินเทอร์เฟซที่ใช้งานง่าย

User-Agent หลายตัว

รองรับบล็อก user-agent หลายตัวพร้อมกฎที่แตกต่างกัน

การตรวจสอบ

ตรวจสอบ robots.txt สำหรับปัญหาทั่วไปและข้อผิดพลาดทางไวยากรณ์

ความเป็นส่วนตัวมาก่อน

การประมวลผลทั้งหมดเกิดขึ้นในเบราว์เซอร์ของคุณ

วิธีใช้งาน

1

กำหนดค่ากฎ

เลือก user-agent และเพิ่มกฎอนุญาต/ปฏิเสธสำหรับเส้นทางที่ต้องการควบคุม

2

เพิ่ม Sitemap

เพิ่ม URL sitemap เพื่อให้เครื่องมือค้นหาค้นพบหน้าของคุณอย่างมีประสิทธิภาพ

3

คัดลอกหรือดาวน์โหลด

คัดลอกหรือดาวน์โหลด robots.txt ที่สร้างขึ้น วางในไดเรกทอรีรากของเว็บไซต์

คำถามที่พบบ่อย

robots.txt เป็นไฟล์ข้อความธรรมดาที่วางไว้ใน root ของเว็บไซต์เพื่อบอกให้ search engine crawlers ทราบว่าหน้าใดหรือส่วนใดที่พวกมันสามารถเข้าถึงได้หรือไม่ มันปฏิบัติตาม Robots Exclusion Protocol ซึ่ง crawler หลักทุกตัว (Googlebot, Bingbot, DuckDuckBot) จะปฏิบัติตามตามข้อตกลง หากไม่มีไฟล์นี้ crawlers จะถือว่าอนุญาตทุกอย่าง แต่การมี robots.txt ช่วยให้คุณบล็อกหน้าที่มีค่าน้อย (พื้นที่ admin, หน้าผลการค้นหา, เนื้อหาที่ซ้ำกัน), เพิ่ม URL ของ sitemap เพื่อให้ crawlers หาเจอโดยอัตโนมัติ และตั้งค่า crawl-delay เพื่อปกป้องทรัพยากรของเซิร์ฟเวอร์

robots.txt บล็อกการ crawling ไม่ใช่การ indexing หน้าที่ถูกบล็อกโดย Disallow ยังคงอาจปรากฏในผลการค้นหาของ Google ได้หากเว็บไซต์อื่นลิงก์มายังหน้านั้น — Google อาจจะ index URL โดยไม่ crawl เนื้อหา ซึ่งจะแสดงผลลัพธ์แบบไม่มีชื่อเรื่องหรือคำอธิบาย เพื่อป้องกันไม่ให้หน้าเว็บปรากฏในผลการค้นหาอย่างสมบูรณ์ ให้ใช้ meta tag noindex: <meta name="robots" content="noindex"> เพื่อความครอบคลุมสูงสุด ให้ใช้ทั้งสองอย่างร่วมกันคือ บล็อกการ crawling ใน robots.txt และเพิ่ม noindex เพื่อป้องกันการ indexing ผ่านการตรวจพบโดยตรง

ต้องอยู่ใน root directory ของเว็บไซต์และเข้าถึงได้ที่ https://yourdomain.com/robots.txt พวก crawlers จะมองหาที่ URL นั้นพอดี — ไฟล์ใน subdirectory (เช่น /blog/robots.txt) จะถูกละเลย สำหรับ subdomain แต่ละอันต้องการ robots.txt ของตัวเองที่ root ของตนเอง (เช่น https://blog.yourdomain.com/robots.txt) หลังจากอัปโหลดแล้ว ให้ตรวจสอบโดยการเข้าถึง URL โดยตรงผ่านเบราว์เซอร์ของคุณ

Disallow บอกให้ crawlers ไม่เข้าถึงเส้นทางเฉพาะอย่างใดอย่างหนึ่ง Allow จะเขียนทับ Disallow สำหรับเส้นทางที่เฉพาะเจาะจงมากขึ้นภายในบล็อก user-agent เดียวกัน — มีประโยชน์เมื่อคุณต้องการบล็อกโฟลเดอร์แต่ต้องการอนุญาตไฟล์เฉพาะในนั้น ตัวอย่างเช่น: Disallow: /private/ จากนั้น Allow: /private/public.html จะอนุญาตเฉพาะหน้านั้นหน้าเดียว เมื่อกฎทั้งสองจับคู่กับ URL ด้วยความเฉพาะเจาะจงที่เท่ากัน Allow จะมีลำดับความสำคัญก่อน หากไม่มีคำสั่ง Allow หรือ Disallow ใดๆ ทุกอย่างจะได้รับอนุญาตโดยเริ่มต้น

ไม่ควร ความผิดพลาดทั่วไปคือการเพิ่ม Disallow: /*.css และ Disallow: /*.js ใน robots.txt Googlebot จำเป็นต้องดึง CSS และ JavaScript เพื่อเรนเดอร์หน้าเว็บและทำความเข้าใจเนื้อหา การบล็อกไฟล์เหล่านี้อาจทำให้ Google เห็นเว็บไซต์ในเวอร์ชันที่พัง ซึ่งอาจส่งผลเสียต่ออันดับของคุณ ให้บล็อกเฉพาะไฟล์และเส้นทางที่คุณไม่ต้องการให้มีการ crawl จริงๆ เช่น พื้นที่ admin, หน้าผลการค้นหาภายใน, URL ที่กรองซ้ำกัน, และ paths ของ staging

Crawl-delay กำหนดจำนวนวินาทีขั้นต่ำที่ crawler ควรจะรอระหว่างการส่งคำขอไปยังเซิร์ฟเวอร์ของคุณ ตัวอย่างเช่น Crawl-delay: 10 จะบอกให้บอทหยุดพัก 10 วินาทีระหว่างการดึงข้อมูลแต่ละหน้า สิ่งนี้ช่วยลดภาระของเซิร์ฟเวอร์จาก crawlers ที่ทำงานหนักเกินไป โปรดทราบว่า Googlebot จะไม่สนใจ Crawl-delay ใน robots.txt — เพื่อควบคุมอัตราการ crawl ของ Googlebot ให้ใช้การตั้งค่า crawl rate ใน Google Search Console แทน Crawl-delay จะถูกปฏิบัติตามโดย Bingbot, Yandex และ crawlers ขนาดเล็กอื่นๆ

ได้ บล็อก User-agent แต่ละบล็อกจะใช้กับ crawler ตัวนั้นเท่านั้น User-agent: * จะใช้กับ crawler ทั้งหมดเป็นค่าเริ่มต้น คุณสามารถเพิ่มบล็อกเฉพาะเพื่อเขียนทับค่าเริ่มต้นได้ — เช่น User-agent: Googlebot พร้อมชุดกฎ Allow/Disallow ของตัวเอง และ User-agent: Bingbot พร้อมกฎที่ต่างออกไป เมื่อ crawler พบหลายบล็อกที่ตรงกัน (แบบเฉพาะเจาะจงและ wildcard) มันจะปฏิบัติตามการจับคู่ที่เฉพาะเจาะจงที่สุด คุณสามารถเพิ่มบล็อก user-agent หลายรายการโดยใช้ปุ่ม "Add User-Agent Block"

ไม่ การกำหนดค่าและการสร้างไฟล์ทั้งหมดเกิดขึ้นในเบราว์เซอร์ของคุณด้วย JavaScript URL, เส้นทาง และที่อยู่ sitemap ของคุณจะไม่มีวันออกจากเครื่องของคุณเลย ไม่มีการประมวลผลฝั่งเซิร์ฟเวอร์ ไม่มีการจัดเก็บข้อมูล และไม่มีบัญชีผู้ใช้ คัดลอกผลลัพธ์หรือใช้ Download เพื่อบันทึกไฟล์ — เมื่อคุณปิดแท็บ การตั้งค่าจะหายไป

เครื่องสร้าง robots.txt คืออะไร?

เครื่องสร้าง robots.txt ช่วยคุณสร้างไฟล์ที่ควบคุมว่าบอทเครื่องมือค้นหาสามารถเข้าถึงส่วนใดของเว็บไซต์ แทนที่จะเขียนไวยากรณ์ด้วยมือ คุณเลือก user agent เพิ่มกฎ allow/disallow ใส่ URL sitemap แล้วเครื่องมือจะสร้างไฟล์ให้

คุณสมบัติหลัก

หลายบล็อก user-agent พร้อมกฎต่างกันสำหรับแต่ละบอท ปุ่มเพิ่มด่วนสำหรับเส้นทางทั่วไปเช่น /admin/ /api/ และ /tmp/ การจัดการ URL sitemap การกำหนดค่า crawl-delay การตรวจสอบในตัวเพื่อตรวจจับข้อผิดพลาดไวยากรณ์ พรีเซ็ตสำหรับสถานการณ์ทั่วไป

กรณีใช้งานทั่วไป

บล็อกแผงผู้ดูแลระบบและ API endpoint จากบอท เพิ่ม URL sitemap เพื่อให้เครื่องมือค้นหาพบทุกหน้า ตั้งกฎต่างกันสำหรับ Googlebot กับบอทอื่น

เคล็ดลับ

ใส่ URL sitemap เสมอ อย่าบล็อกไฟล์ CSS และ JS ที่เครื่องมือค้นหาต้องใช้ในการเรนเดอร์หน้า จำไว้ว่า robots.txt เป็นสาธารณะ อย่าใช้เพื่อซ่อน URL ที่สำคัญ

ความเป็นส่วนตัว

ทุกอย่างทำงานในเบราว์เซอร์ ไม่มี URL หรือกฎถูกส่งไปยังเซิร์ฟเวอร์ใดๆ

ความปลอดภัยและความเป็นส่วนตัว

ความปลอดภัยของข้อมูลของคุณคือความสำคัญอันดับแรกของเรา

การประมวลผลภายใน

การประมวลผลทั้งหมดเกิดขึ้นในเบราว์เซอร์ของคุณ

ไม่มีการถ่ายโอนข้อมูล

ข้อมูลของคุณจะไม่ถูกส่งไปยังเซิร์ฟเวอร์ของเรา

ไม่มีการจัดเก็บข้อมูล

ไม่มีข้อมูลถูกเก็บหรือแบ่งปัน

การเข้ารหัส SSL

การเข้ารหัส SSL สำหรับการเชื่อมต่อที่ปลอดภัย

ขั้นตอนถัดไป

ตัวสร้างเมตาแท็ก

สร้างเมตาแท็ก HTML สำหรับการเพิ่มประสิทธิภาพ SEO

ตัวสร้างกฎ Rewrite

สร้างกฎ redirect และ rewrite สำหรับ Apache (.htaccess), Nginx และ IIS (web.config)

เครื่องมือที่เกี่ยวข้อง

เครื่องมือวิเคราะห์ SEO

เครื่องมือวิเคราะห์ SEO ที่ให้คะแนนหน้าเว็บจาก 100 คะแนน

ตัวแสดงตาราง JSON

ดูข้อมูล JSON เป็นตารางแบบโต้ตอบพร้อมเรียงลำดับและส่งออก CSV

ตัวตรวจสอบความแตกต่างของโค้ด

เปรียบเทียบโค้ดสองชิ้นเคียงข้างกันและไฮไลต์ความแตกต่างทีละบรรทัด

ตัวจัดรูปแบบ YAML

จัดรูปแบบและตรวจสอบโค้ด YAML

ตัวดูโค้ด SVG

แสดงตัวอย่าง จัดรูปแบบ และคัดลอกมาร์กอัป SVG โดยตรงในเบราว์เซอร์ของคุณ

ตัวค้นหาเส้นทาง JSON

วาง JSON แล้วคลิกค่าใดก็ได้เพื่อรับนิพจน์ JSONPath ทันที

อีกมากมายใน MoreOnlineTools

เครื่องมือออนไลน์ฟรี

109 เครื่องมือสำหรับข้อความ รูปภาพ ความปลอดภัย และการพัฒนา

ดูเครื่องมือทั้งหมด →
Cheat Sheet สำหรับนักพัฒนา

อ้างอิงด่วนสำหรับ Regex, Git, รหัส HTTP, CSS, Markdown และอื่นๆ

ดู Cheat Sheet →
เครื่องคิดเลขออนไลน์

BMI, สินเชื่อ, เปอร์เซ็นต์, ทิป, อายุ และเครื่องคิดเลขอื่นๆ

ดูเครื่องคิดเลข →
คอลเลกชันเครื่องมือ

เวิร์กโฟลว์ที่คัดสรร: การพัฒนา API, ไปป์ไลน์รูปภาพ, การตรวจสอบความปลอดภัย และอื่นๆ

ดูคอลเลกชัน →