ตัวสร้างและตรวจสอบ Robots.txt
ปรับแต่งสิทธิ์การเข้าเก็บข้อมูลของ Search Engine บอท พร้อมโปรแกรมจำลองวิเคราะห์สิทธิ์การเข้าถึงแบบละเอียด
เครื่องมือสร้างและทดสอบ Robots.txt
สร้าง จัดการ และตรวจสอบไฟล์ Robots.txt ด้วยระบบ Simulator คัดกรองสิทธิ์ของบอทค้นหาแบบเรียลไทม์
1. เพิ่มกฎการเข้าถึง (Add Crawl Rules)
กฎที่ระบุไว้ในไฟล์ปัจจุบัน (3)
| User-Agent | คำสั่ง | เส้นทาง | ลบ |
|---|---|---|---|
| * | allow | / | |
| * | disallow | /admin | |
| * | disallow | /api |
2. ตั้งค่าเพิ่มเติม (Advanced Settings)
ผลลัพธ์ไฟล์ Robots.txt
ตัวตรวจสอบเส้นทางของบอท (Validator)
จำลองและวิเคราะห์คำสั่งบอทว่าจะสามารถเข้าจัดทำดัชนี (Crawl) หน้านั้นๆ ได้หรือไม่ ตามเงื่อนไขปัจจุบัน
วิธีใช้งาน ตัวสร้างและตรวจสอบ Robots.txt
- กำหนดสิทธิ์ให้บอทค้นหา (User-agents) เช่น Googlebot, Bingbot เข้าถึงโฟลเดอร์ต่างๆ ของเว็บ
- กรอกที่อยู่แผนผังเว็บไซต์ (Sitemap URL) และกำหนดเวลาดีเลย์ในการดึงข้อมูล (Crawl-delay)
- จำลองและตรวจสอบสิทธิ์การเข้าถึงผ่านแถบ Simulator โดยกรอกที่อยู่เส้นทาง เช่น /admin, /images เพื่อทดสอบว่าบอทบล็อกหรือปล่อยผ่าน
- คัดลอกไฟล์ robots.txt ไปวางไว้ที่ root directory ของเว็บไซต์คุณ (เช่น https://example.com/robots.txt)
ข้อมูลและหลักการทำงานของ ตัวสร้างและตรวจสอบ Robots.txt
คู่มือข้อมูลเชิงลึกและเทคนิคการใช้งานเพื่อประสิทธิภาพสูงสุด
เครื่องมือสร้างและทดสอบไฟล์ Robots.txt สำหรับกำหนดสิทธิ์การเข้าถึงของ Search Engine Bot แต่ละตัว
Robots.txt เป็นไฟล์แรกที่ Googlebot อ่านก่อนเริ่มเก็บข้อมูลเว็บ การตั้งค่าผิดพลาดอาจทำให้เว็บทั้งเว็บหลุดจาก Google Index
คำแนะนำการใช้งานเพิ่มเติม (Expert Tips)
- เลือก Bot ที่ต้องการกำหนดสิทธิ์ เช่น Googlebot, Bingbot
- ระบุ Path ที่อนุญาตหรือไม่อนุญาตให้เข้าถึง
- เพิ่ม Sitemap URL เพื่อช่วยให้ Bot ค้นหาหน้าเว็บได้ง่ายขึ้น
- ทดสอบ URL เฉพาะว่า Bot มีสิทธิ์เข้าถึงหรือไม่
คำถามที่พบบ่อย — ตัวสร้างและตรวจสอบ Robots.txt
⭐ ให้คะแนนเครื่องมือนี้
4.7
/ 5.0
25
รีวิว
เครื่องมือที่เกี่ยวข้อง
ตัวตรวจประเมินคะแนน SEO
SEOส่งบอทวิเคราะห์สุขภาพคะแนน SEO หน้าเพจ ดึงโครงสร้างหัวเรื่อง เช็กรายละเอียดภาพ รูปแบบลิงก์ และประเมินความปลอดภัย
ตัวสร้าง Meta Tags และ Previewer
SEOสร้างและวิเคราะห์โค้ด HTML Meta Tags พร้อมจำลองการแสดงผลบน Google, Facebook และ Twitter แบบเรียลไทม์
ตัววิเคราะห์ความหนาแน่นคำ
SEOคำนวณความหนาแน่นคีย์เวิร์ด กรองคำฟุ่มเฟือย คัดแยก N-grams และเช็กจุดแสดงผลคำค้นหาสำคัญเพื่อทำอันดับ SEO
💡 ต้องการฟีเจอร์เพิ่มเติม?
หากคุณมีไอเดียเครื่องมือใหม่ๆ หรือพบปัญหาการใช้งาน สามารถแจ้งทีมงาน OneToolAll ได้ตลอดเวลา
ติดต่อทีมงาน