ตัวสร้างและตรวจสอบ Robots.txt
ปรับแต่งสิทธิ์การเข้าเก็บข้อมูลของ Search Engine บอท พร้อมโปรแกรมจำลองวิเคราะห์สิทธิ์การเข้าถึงแบบละเอียด
เครื่องมือสร้างและทดสอบ Robots.txt
สร้าง จัดการ และตรวจสอบไฟล์ Robots.txt ด้วยระบบ Simulator คัดกรองสิทธิ์ของบอทค้นหาแบบเรียลไทม์
1. เพิ่มกฎการเข้าถึง (Add Crawl Rules)
กฎที่ระบุไว้ในไฟล์ปัจจุบัน (3)
| User-Agent | คำสั่ง | เส้นทาง | ลบ |
|---|---|---|---|
| * | allow | / | |
| * | disallow | /admin | |
| * | disallow | /api |
2. ตั้งค่าเพิ่มเติม (Advanced Settings)
ผลลัพธ์ไฟล์ Robots.txt
ตัวตรวจสอบเส้นทางของบอท (Validator)
จำลองและวิเคราะห์คำสั่งบอทว่าจะสามารถเข้าจัดทำดัชนี (Crawl) หน้านั้นๆ ได้หรือไม่ ตามเงื่อนไขปัจจุบัน
วิธีใช้งาน ตัวสร้างและตรวจสอบ Robots.txt
- กำหนดสิทธิ์ให้บอทค้นหา (User-agents) เช่น Googlebot, Bingbot เข้าถึงโฟลเดอร์ต่างๆ ของเว็บ
- กรอกที่อยู่แผนผังเว็บไซต์ (Sitemap URL) และกำหนดเวลาดีเลย์ในการดึงข้อมูล (Crawl-delay)
- จำลองและตรวจสอบสิทธิ์การเข้าถึงผ่านแถบ Simulator โดยกรอกที่อยู่เส้นทาง เช่น /admin, /images เพื่อทดสอบว่าบอทบล็อกหรือปล่อยผ่าน
- คัดลอกไฟล์ robots.txt ไปวางไว้ที่ root directory ของเว็บไซต์คุณ (เช่น https://example.com/robots.txt)
เครื่องมือที่เกี่ยวข้อง
ตัวตรวจประเมินคะแนน SEO
SEOส่งบอทวิเคราะห์สุขภาพคะแนน SEO หน้าเพจ ดึงโครงสร้างหัวเรื่อง เช็กรายละเอียดภาพ รูปแบบลิงก์ และประเมินความปลอดภัย
ตัวสร้าง Meta Tags และ Previewer
SEOสร้างและวิเคราะห์โค้ด HTML Meta Tags พร้อมจำลองการแสดงผลบน Google, Facebook และ Twitter แบบเรียลไทม์
ตัววิเคราะห์ความหนาแน่นคำ
SEOคำนวณความหนาแน่นคีย์เวิร์ด กรองคำฟุ่มเฟือย คัดแยก N-grams และเช็กจุดแสดงผลคำค้นหาสำคัญเพื่อทำอันดับ SEO
💡 ต้องการฟีเจอร์เพิ่มเติม?
หากคุณมีไอเดียเครื่องมือใหม่ๆ หรือพบปัญหาการใช้งาน สามารถแจ้งทีมงาน OneToolAll ได้ตลอดเวลา
ติดต่อทีมงาน