SeeSearchBot
บอทเก็บหน้าเว็บของ SEARCHSS เครื่องมือค้นหาของ sage.show
บอทนี้คืออะไร
SeeSearchBot อ่านหน้าเว็บสาธารณะเพื่อนำไปทำดัชนีค้นหาของ SEARCHSS บอทไม่ล็อกอิน ไม่กรอกฟอร์ม และไม่ดึงหน้าที่ต้องจ่ายเงินหรือต้องเข้าสู่ระบบ
User-Agent ที่บอทใช้:
Mozilla/5.0 (compatible; SeeSearchBot/1.0; +https://search.sage.show/bot)
บอทออกอินเทอร์เน็ตจาก IP 61.19.254.3 เท่านั้น ถ้าเจอบอทชื่อนี้จาก IP อื่น นั่นไม่ใช่ของเรา
บอททำงานอย่างไร
- อ่านและทำตาม
robots.txtก่อนดึงหน้าใดๆ รวมถึงCrawl-delay - ดึงจากโดเมนเดียวกันไม่เกิน 1 หน้าต่อวินาที และช้าลงเองเมื่อเว็บตอบช้าหรือตอบ 429/503
- อ่าน
sitemap.xmlเพื่อหาหน้าใหม่ - ในผลค้นหาแสดงเพียงชื่อหน้าและข้อความย่อสั้นๆ ไม่แสดงสำเนาหน้าเว็บเต็ม
ห้ามหรือจำกัดบอท
ห้ามทั้งเว็บ ใส่ใน robots.txt:
User-agent: SeeSearchBot Disallow: /
ห้ามเฉพาะบางส่วน หรือให้ช้าลง:
User-agent: SeeSearchBot Disallow: /private/ Crawl-delay: 5
ไม่ให้หน้าใดขึ้นในผลค้นหา ใส่ในหน้านั้น <meta name="robots" content="noindex"> หรือส่ง header X-Robots-Tag: noindex
บอทอ่าน robots.txt ใหม่อย่างน้อยวันละครั้ง หน้าที่ถูกห้ามจะหายจากผลค้นหาในรอบปรับดัชนีถัดไป
แหล่งข้อมูลและสัญญาอนุญาต
- หน้าเว็บบางส่วนมาจาก Common Crawl (ตาม Terms of Use ของ Common Crawl)
- ข้อความหน้าเว็บภาษาไทยจากชุดข้อมูล FineWeb-2 โดย Hugging Face เผยแพร่ภายใต้ ODC-By 1.0
- บทความจาก วิกิพีเดียภาษาไทย ภายใต้ CC BY-SA 4.0
- รายชื่อเว็บสำหรับ SafeSearch จาก UT1 blacklists มหาวิทยาลัย Toulouse Capitole ภายใต้ CC BY-SA 4.0
ซอร์สโค้ด (AGPL)
หน้าผลค้นหาตอนนี้ใช้ SearXNG ซึ่งเป็นซอฟต์แวร์ภายใต้ GNU AGPL-3.0 เราแก้ template, ค่าตั้ง และเพิ่ม plugin นับจำนวนการค้นหา ผู้ใช้ทุกคนขอรับซอร์สโค้ดฉบับที่เราใช้งานจริงได้ฟรี โดยส่งอีเมลไปที่ postmaster@sage.show เราจะส่งไฟล์ให้ภายใน 7 วัน
ขอลบหน้าออกจากผลค้นหา
ส่งอีเมลไปที่ postmaster@sage.show พร้อม URL ที่ต้องการลบ และเหตุผล เช่น ข้อมูลส่วนบุคคลตาม PDPA, ละเมิดลิขสิทธิ์ หรือเจ้าของเว็บไม่ต้องการ เราตอบภายใน 7 วัน
บอททำเว็บช้าหรือมีปัญหา
แจ้งที่ postmaster@sage.show พร้อมชื่อโดเมนและช่วงเวลา เราจะหยุดดึงจากโดเมนนั้นทันทีระหว่างตรวจสอบ
SeeSearchBot (English)
SeeSearchBot is the crawler of SEARCHSS, the search engine of sage.show. It honours robots.txt (including Crawl-delay), noindex and X-Robots-Tag, fetches at most 1 page(s) per second per host, and only connects from 61.19.254.3. To block it, add User-agent: SeeSearchBot / Disallow: / to your robots.txt. Removal requests and crawl problems: postmaster@sage.show.