หน้าแรก
ADVERTISEMENT
Shopee Promotion

ตัวสร้างและตรวจสอบ Robots.txt

ปรับแต่งสิทธิ์การเข้าเก็บข้อมูลของ Search Engine บอท พร้อมโปรแกรมจำลองวิเคราะห์สิทธิ์การเข้าถึงแบบละเอียด

เครื่องมือสร้างและทดสอบ Robots.txt

สร้าง จัดการ และตรวจสอบไฟล์ Robots.txt ด้วยระบบ Simulator คัดกรองสิทธิ์ของบอทค้นหาแบบเรียลไทม์

1. เพิ่มกฎการเข้าถึง (Add Crawl Rules)

กฎที่ระบุไว้ในไฟล์ปัจจุบัน (3)

User-Agentคำสั่งเส้นทางลบ
*allow/
*disallow/admin
*disallow/api

2. ตั้งค่าเพิ่มเติม (Advanced Settings)

ผลลัพธ์ไฟล์ Robots.txt

ตัวตรวจสอบเส้นทางของบอท (Validator)

จำลองและวิเคราะห์คำสั่งบอทว่าจะสามารถเข้าจัดทำดัชนี (Crawl) หน้านั้นๆ ได้หรือไม่ ตามเงื่อนไขปัจจุบัน

ADVERTISEMENT
Shopee Promotion

วิธีใช้งาน ตัวสร้างและตรวจสอบ Robots.txt

  1. กำหนดสิทธิ์ให้บอทค้นหา (User-agents) เช่น Googlebot, Bingbot เข้าถึงโฟลเดอร์ต่างๆ ของเว็บ
  2. กรอกที่อยู่แผนผังเว็บไซต์ (Sitemap URL) และกำหนดเวลาดีเลย์ในการดึงข้อมูล (Crawl-delay)
  3. จำลองและตรวจสอบสิทธิ์การเข้าถึงผ่านแถบ Simulator โดยกรอกที่อยู่เส้นทาง เช่น /admin, /images เพื่อทดสอบว่าบอทบล็อกหรือปล่อยผ่าน
  4. คัดลอกไฟล์ robots.txt ไปวางไว้ที่ root directory ของเว็บไซต์คุณ (เช่น https://example.com/robots.txt)