AI hallucination กลายเป็นช่องโหว่สร้างบอตเน็ตขนาดใหญ่ด้วยเทคนิค HalluSquatting

การวิจัยใหม่จากทีมนักวิจัยของ Intuit, Technion และมหาวิทยาลัยเทลอาวีฟเปิดเผยว่า AI hallucination สามารถถูกใช้เป็นช่องโหว่เพื่อสร้างบอตเน็ตขนาดใหญ่ได้ เทคนิคที่ชื่อว่า HalluSquatting (ย่อมาจาก “adversarial hallucination squatting”) ทำให้บริการ AI อย่าง GitHub Copilot, Gemini CLI และ OpenClaw ถูกแฮกและอาจทำให้เครื่องผู้ใช้กลายเป็นโหนดของบอตเน็ตได้

Overview

รายงานระบุว่า HalluSquatting ใช้ประโยชน์จากความผิดพลาดของโมเดลภาษาขนาดใหญ่ (LLM) ที่มัก “hallucinate” ตัวระบุทรัพยากรหรือรีโพซิทอรีที่ไม่มีอยู่จริง การจงใจลงทะเบียนชื่อทรัพยากรเท็จเหล่านี้ทำให้ LLM เชื่อว่าเป็นแหล่งข้อมูลที่ถูกต้องและดึงโค้ดอันเป็นอันตรายมาเรียกใช้

วิธีการนี้คล้ายกับ typosquatting ที่ผู้โจมตีลงทะเบียนโดเมนที่สะกดผิดเพื่อหลอกลวงผู้ใช้ แต่ในกรณีของ LLM การ “พิมพ์ผิด” เกิดจากความไม่แม่นยำในการระบุชื่อรีโพซิทอรีหรือแพ็กเกจ แทนการพึ่งพาข้อมูลภายนอก ผู้โจมตีจึงสามารถฝัง prompt ที่เป็นอันตรายไว้ในทรัพยากรที่ LLM คิดว่าเชื่อถือได้

นักวิจัยสรุปว่าเมื่อผู้ใช้เรียกใช้งาน AI ผ่านเครื่องมือใดเครื่องมือหนึ่งและทำให้โมเดลเข้าถึงชื่อทรัพยากรเท็จนั้น โค้ดอันเป็นอันตรายจะถูกดาวน์โหลดและดำเนินการโดยอัตโนมัติ ทำให้เกิด remote tool execution (RTE) และ **remote code execution (RCE) อย่างกว้างขวาง

Mechanism

หลักการของ HalluSquatting แบ่งเป็นสองขั้นตอนสำคัญ ขั้นแรกคือการ “pre‑emptively register” ชื่อทรัพยากรที่คาดว่า LLM จะ hallucinate ซึ่งอาจเป็นชื่อแพ็กเกจหรือรีโพซิทอรีที่คล้ายกับของแท้

ต่อมาผู้โจมตีฝัง adversarial prompts หรือสคริปต์อันตรายในทรัพยากรเหล่านั้น เมื่อผู้ใช้ส่งคำสั่งให้ LLM เช่น “ค้นหาโค้ดตัวอย่างจาก X” โมเดลจะพิจารณาว่าชื่อ X นั้นเป็นแหล่งที่เชื่อถือได้และทำการ fetch โค้ดตามที่โจมตีเตรียมไว้

กระบวนการนี้เป็นรูปแบบของ promptware attack ซึ่งต่างจากการโจมตี “pull‑based” แบบเดิมที่ผู้โจมตีต้องรอให้ LLM ดึงข้อมูลอันตรายเอง การผสมผสานระหว่างเทคนิค “push” (โค้ดฉีดเข้า) กับ “pull” ทำให้การกระจายอันตรายเป็นไปได้อย่างรวดเร็วและต่อเนื่อง

เมื่อโค้ดที่ถูกฝังเรียกใช้คำสั่งระบบเช่น การเปิดพอร์ตหรือการดาวน์โหลดไฟล์เพิ่มเติม เครื่องของผู้ใช้สามารถเปลี่ยนเป็น zombie ของบอตเน็ตโดยไม่ต้องมีส่วนร่วมใด ๆ จากเจ้าของอุปกรณ์

Affected Tools

ในการทดสอบนักวิจัยพบว่าเครื่องมือและแพลตฟอร์ม AI จำนวนหลายตัวเสี่ยงต่อการถูกใช้ในรูปแบบนี้ ได้แก่:

• GitHub Copilot – ตัวช่วยเขียนโค้ดที่ทำงานร่วมกับ IDE หลายประเภท
• Gemini CLI – อินเทอร์เฟซบรรทัดคำสั่งของโมเดล Gemini
• OpenClaw, ZeroClaw, NanoClaw – ผู้ช่วย AI ที่ออกแบบมาเพื่อทำงานในคอนโซลและสภาพแวดล้อมคลาวด์
• Cursor, Cursor CLI, Windsurf, Cline – ตัวช่วยเขียนโค้ดเชิงตัวแทน (agentic)

เครื่องมือเหล่านี้ทั้งหมดเป็น “agentic LLM applications” ที่สามารถเรียกใช้ฟังก์ชันภายนอกได้ จึงกลายเป็นเป้าหมายหลักของการฝังทรัพยากรเท็จและทำให้เกิด RTE/RCE ตามที่รายงานระบุ

Demonstrated Attacks

ในกระบวนการวิจัย ทีมผู้เขียนสามารถสร้าง remote tool execution และ remote code execution อย่างต่อเนื่องบนหลายแพลตฟอร์ม ตัวอย่างเช่น การลงทะเบียนชื่อ “numpy‑utils” ที่ไม่มีอยู่จริงแล้วฝังสคริปต์ให้ดาวน์โหลดไฟล์ ransomware หลังจากที่ LLM ถูกกระตุ้นโดยผู้ใช้

หนึ่งในกรณีที่ได้รับการบันทึกคือการโจมตี JADEPUFFER ซึ่งเป็นแรนซัมแวร์เต็มรูปแบบที่ดำเนินการทั้งหมดโดย LLM โดยไม่ต้องพึ่งพาโค้ดจากภายนอก การทดลองนี้ชี้ให้เห็นว่าการใช้ HalluSquatting สามารถนำไปสู่ภัยคุกคามระดับสูงได้อย่างรวดเร็ว

ผลลัพธ์ของการทดสอบแสดงให้เห็นว่าเพียงครั้งเดียวที่ผู้ใช้เรียกใช้ AI ที่ได้รับอิทธิพลจากทรัพยากรเท็จ ก็สามารถทำให้เครื่องของตนเองถูกควบคุมโดยเครือข่ายบอตเน็ตในระดับโลกได้

Mitigation & Industry Response

เพื่อจำกัดความเสี่ยง นักวิจัยเสนอแนวทางหลายประการ ซึ่งต้องอาศัยความร่วมมือจากผู้พัฒนา LLM, ผู้ดูแลแพลตฟอร์มและเจ้าของทรัพยากร:

• ปิดกั้นการ fetch แบบตรง ๆ จากโมเดลโดยบังคับให้ใช้เครื่องมือค้นหา (search tool) เป็นตัวกลาง
• บังคับใช้ชื่อทรัพยากรที่เป็นเอกลักษณ์ระดับสากล (globally unique resource names) เพื่อหลีกเลี่ยงการชนกันของชื่อ

การนำมาตรการเหล่านี้ไปปฏิบัติอาจต้องใช้เวลานานและต้องมีการประสานงานระหว่างหลายฝ่าย ทั้งผู้ให้บริการคลาวด์, ผู้พัฒนา IDE และองค์กรที่ดูแลรีโพซิทอรีสาธารณะ อย่างไรก็ตาม การบังคับใช้มาตรฐานชื่อแบบเข้มงวดถือเป็นวิธีป้องกันที่มีประสิทธิภาพสูงสุดในขณะนี้

นอกจากนี้ ทีมวิจัยยังแนะนำให้ผู้ใช้ตรวจสอบคำตอบของ LLM อย่างระมัดระวัง โดยเฉพาะเมื่อมีการเรียกใช้งานโค้ดหรือสคริปต์จากแหล่งภายนอก เพื่อป้องกันไม่ให้เครื่องของตนเองกลายเป็นส่วนหนึ่งของบอตเน็ต

Implications

หากเทคนิค HalluSquatting ถูกนำไปใช้ในวงกว้าง อาจทำให้เกิดการระบาดของ botnet ขนาดใหญ่อีกครั้งโดยอาศัย AI เป็นช่องทางหลัก การผสมผสานระหว่างความสามารถของ LLM ในการสร้างโค้ดและการเจาะจงทรัพยากรที่ไม่มีอยู่จริงเปิดประตูให้กับนักทำลายระบบใหม่ ๆ ที่ไม่จำเป็นต้องมีทักษะเขียนโปรแกรมระดับสูง

อุตสาหกรรมความปลอดภัยไซเบอร์จะต้องปรับตัวเพื่อเฝ้าระวังและตรวจจับพฤติกรรม “hallucinated resource access” ในระบบ AI รวมถึงพัฒนามาตรการป้องกันที่ตอบสนองต่อการโจมตีแบบ promptware อย่างรวดเร็ว

ในระยะยาว ความเชื่อมั่นของผู้ใช้ต่อเครื่องมือ AI ที่ช่วยงานประจำวันอาจถูกกระทบ หากไม่มีการจัดการและแก้ไขช่องโหว่เหล่านี้อย่างเป็นระบบ จึงเป็นเรื่องสำคัญที่ผู้พัฒนาและชุมชนเทคโนโลยีต้องร่วมมือกันเพื่อสร้างมาตรฐานความปลอดภัยใหม่ให้สอดคล้องกับยุค AI

Summary

HalluSquatting แสดงให้เห็นว่าการใช้ AI hallucination เป็นช่องโหว่สามารถทำให้เครื่องมือต่าง ๆ เช่น GitHub Copilot, Gemini CLI และ OpenClaw ถูกแฮกและสร้างบอตเน็ตได้ การป้องกันต้องอาศัยมาตรการเชิงชื่อทรัพยากรที่เป็นเอกลักษณ์และการจำกัดฟังก์ชัน fetch ของ LLM อย่างเข้มงวดเพื่อหยุดยั้งภัยคุกคามนี้ในอนาคต.