วิธีใช้ ตัวสร้างและตรวจสอบ Robots.txt
ปรับแต่งสิทธิ์การเข้าเก็บข้อมูลของ Search Engine บอท พร้อมโปรแกรมจำลองวิเคราะห์สิทธิ์การเข้าถึงแบบละเอียด
ขั้นตอนการใช้งาน
1
กำหนดสิทธิ์ให้บอทค้นหา (User-agents) เช่น Googlebot, Bingbot เข้าถึงโฟลเดอร์ต่างๆ ของเว็บ
2
กรอกที่อยู่แผนผังเว็บไซต์ (Sitemap URL) และกำหนดเวลาดีเลย์ในการดึงข้อมูล (Crawl-delay)
3
จำลองและตรวจสอบสิทธิ์การเข้าถึงผ่านแถบ Simulator โดยกรอกที่อยู่เส้นทาง เช่น /admin, /images เพื่อทดสอบว่าบอทบล็อกหรือปล่อยผ่าน
4
คัดลอกไฟล์ robots.txt ไปวางไว้ที่ root directory ของเว็บไซต์คุณ (เช่น https://example.com/robots.txt)