Cloudflare เริ่มบล็อกบอทผสมผสานเพื่อปกป้องหน้าเว็บที่มีโฆษณา

Cloudflare ประกาศว่าจะเริ่มบล็อก “mixed‑use crawlers” ที่มุ่งทำการสแกนหน้าเว็บที่มีโฆษณาโดยค่าเริ่มต้นตั้งแต่ 15 กันยายน 2569  เพื่อให้ผู้เผยแพร่เว็บไซต์มีอำนาจควบคุมการใช้ข้อมูลของตนต่อบริการ AI อย่างชัดเจน

Overview

Cloudflare ระบุว่าการเปลี่ยนแปลงนี้เป็นส่วนหนึ่งของความพยายามต่อเนื่องในการให้ผู้เผยแพร่เว็บไซต์ควบคุมวิธีที่บอทต่าง ๆ เข้าถึงเนื้อหาโฆษณา โดยเฉพาะอย่างยิ่งบอทที่ทำหน้าที่ผสมผสานระหว่างการทำดัชนีค้นหาและการเก็บข้อมูลเพื่อฝึกโมเดล AI จากบริษัทเทคโนโลยีระดับโลกหลายแห่ง เช่น Apple, Google และ Microsoft Bing

บริษัทได้อ้างว่า “ส่วนใหญ่ของการจราจรบนอินเทอร์เน็ตในปัจจุบันเป็นการเข้าถึงโดยบอท” และจึงจำเป็นต้องดำเนินการอย่างรวดเร็วเพื่อสร้างระบบนิเวศที่ยั่งยืน ตามคำชี้แจงของผู้ร่วมก่อตั้งและซีอีโอ Matthew Prince การบล็อกนี้มุ่งให้บอทที่มีวัตถุประสงค์เพื่อฝึก AI ต้องแยกตัวออกจากบอทที่ทำหน้าที่สืบค้นแบบดั้งเดิม

Mixed‑use Crawlers

บอทแบบ “mixed‑use” ได้แก่ Googlebot, Applebot, และ Bingbot ซึ่งไม่ได้ทำเพียงการสแกนเพื่อเพิ่มเว็บไซต์เข้าสู่ดัชนีค้นหาเท่านั้น แต่ยังใช้ข้อมูลเพื่อฝึกโมเดล AI อีกด้วย Googlebot ได้ทำหน้าที่ดังกล่าวมานานหลายทศวรรษ และผู้เผยแพร่ส่วนใหญ่จึงคาดหวังว่าจะต้องยอมรับบอทนี้เพื่อไม่ให้เว็บไซต์หายจากผลการค้นหา

Applebot มีบทบาทสองประการคือการทำดัชนีและการสนับสนุนการฝึกโมเดลพื้นฐานของ Apple Intelligence รวมถึงบริการและเครื่องมือสำหรับนักพัฒนา Apple ได้ระบุว่า “ข้อมูลที่บอทเก็บรวบรวมอาจถูกใช้เพื่อฝึกโมเดล AI ของ Apple” ในขณะที่ Bingbot ทำหน้าที่คล้ายคลึงโดยให้บริการการสืบค้นและการเก็บข้อมูลเพื่อฝึกโมเดลของ Microsoft การผสมผสานนี้ทำให้ผู้เผยแพร่ยากต่อการกำหนดนโยบายบล็อกที่แยกส่วนอย่างชัดเจน

Cloudflare’s Default Blocking

ตั้งแต่ 15 กันยายน 2569 ลูกค้าใหม่ของ Cloudflare รวมถึงเว็บไซต์ใหม่ของลูกค้าที่มีอยู่แล้วจะถูกตั้งค่าให้บล็อกการฝึกโมเดล AI บนหน้าเว็บที่มีโฆษณาโดยอัตโนมัติ แต่ยังคงอนุญาตให้บอททำการสืบค้นเพื่อการจัดอันดับในเครื่องมือค้นหา ผู้ใช้ระดับฟรีที่ไม่ได้ปรับตั้งค่าด้วยตนเองก็จะได้รับการบล็อกในลักษณะเดียวกัน

ผู้เผยแพร่ยังคงสามารถยกเว้นบอทเหล่านี้จากการบล็อกได้โดยปรับตั้งค่าฐานข้อมูลของตน ดังนั้นระบบไม่ได้บังคับให้บอททั้งหมดต้องหายไปจากหน้าโฆษณา แต่จะบังคับให้บอทที่มุ่งเน้นการฝึก AI ต้องได้รับการยินยอมอย่างชัดเจนจากเจ้าของเนื้อหา Cloudflare จึงอ้างว่าการกระทำนี้ “ทำให้แน่ใจว่าเนื้อหาที่สร้างรายได้ไม่สามารถถูกเก็บข้อมูลโดยไม่ได้รับอนุญาต”

Implications for Publishers & AI Services

สำหรับผู้เผยแพร่เว็บไซต์ที่พึ่งพาโฆษณาเป็นแหล่งรายได้ การบล็อกบอทฝึก AI อาจช่วยลดการสูญเสียรายได้จากการที่ข้อมูลถูกนำไปใช้โดยบริษัท AI โดยไม่ได้รับส่วนแบ่งใด ๆ ในขณะเดียวกัน ผู้เผยแพร่อาจสูญเสียโอกาสที่บอทสืบค้นอาจนำผู้ใช้งานใหม่มาสู่เว็บไซต์หากพวกเขาตัดสินใจบล็อกบอททั้งหมดโดยไม่ได้แยกแยะ

จากมุมมองของบริษัท AI การบังคับให้บอทต้องระบุเจตนาที่ชัดเจนและยอมรับเงื่อนไขการเข้าถึงอาจทำให้กระบวนการเก็บข้อมูลต้องใช้เวลาและค่าใช้จ่ายเพิ่มขึ้น แต่ก็อาจสร้างสภาพแวดล้อมที่เป็นธรรมยิ่งขึ้น โดยเฉพาะอย่างยิ่งบริษัทที่ยังคงใช้ไฟล์ robots.txt เพื่อบอกให้บอทไม่เก็บข้อมูล AI เช่น Applebot‑Extended และ Google‑Extended จะยังคงทำงานได้หากได้รับการยอมรับจากผู้เผยแพร่

Additional Tools & Partnerships

พร้อมกับการบล็อกเริ่มต้น Cloudflare ยังเปิดตัวการเปลี่ยนแปลงสองประการเพิ่มเติมเพื่อสนับสนุนผู้เผยแพร่ให้ได้รับค่าตอบแทนจากการใช้ข้อมูลของตน:

• Pay Per Use – ระบบเดิม “Pay Per Crawl” ถูกรีแบรนด์เป็น “Pay Per Use” ซึ่งให้ค่าตอบแทนแก่ผู้เผยแพร่เมื่อเนื้อหาของพวกเขาปรากฏในผลการค้นหาของ Ceramic.ai หรือเมื่อถูกเรียกใช้โดยเอเย่นต์ AI ของ You.com
• Business Insights Dashboard – แดชบอร์ดใหม่ที่ให้ข้อมูลเชิงลึกเกี่ยวกับการเข้าถึงของบอท AI รวมถึงปริมาณการเรียกใช้จากโมเดล AI และแหล่งที่มาของการจราจร

การจัดทำเครื่องมือเหล่านี้สอดคล้องกับเป้าหมายของ Cloudflare ที่ต้องการ “ให้ผู้เผยแพร่เห็นภาพรวมของการใช้บอทและได้รับค่าตอบแทนอย่างเป็นธรรม” แม้ว่าผู้พูดของบริษัทจะไม่ให้ข้อมูลเพิ่มเติมเกี่ยวกับอัตราการใช้ “Pay Per Crawl” ก็ตาม

Summary

Cloudflare จะบล็อกบอทที่ผสมผสานการสืบค้นและการฝึก AI บนหน้าเว็บที่มีโฆษณาตั้งแต่ 15 กันยายน 2569 โดยให้ผู้เผยแพร่เลือกยกเว้นได้ตามต้องการ พร้อมกับเปิดตัว “Pay Per Use” และแดชบอร์ดเชิงลึกเพื่อสนับสนุนการชำระค่าตอบแทนจากข้อมูลที่ถูกใช้โดยโมเดล AI.