นักวิจัยฝัง backdoor ลงโมเดล AI เปิดเผยค่าใช้งานต่ำกว่า $100.

Lead: นักวิจัยด้านความปลอดภัยไซเบอร์จากมหาวิทยาลัยแมนเชสเตอร์เมโทรโพลิแทนสามารถฝัง backdoor ลงในโมเดล AI แบบเปิดน้ำหนักได้ภายในหนึ่งชั่วโมงและใช้ต้นทุนต่ำกว่า 100 ดอลลาร์สหรัฐ** การทดลองนี้แสดงให้เห็นถึงช่องโหว่ของซัพพลายเชน AI ที่อาจทำให้ระบบที่พึ่งพาโมเดลดังกล่าวเสี่ยงต่อการโจมตีแบบรุนแรง

Overview

การวิจัยโดย Katie Paxton‑Fear ซึ่งเป็นผู้สอนด้านความปลอดภัยไซเบอร์และผู้สนับสนุนความปลอดภัยของเครื่องมือ Semgrep ได้ทำการทดลอง “poisoning” โมเดล AI ที่มีน้ำหนักเปิดเผย (open‑weight) โดยใช้วิธี fine‑tuning เพียงไม่กี่ขั้นตอน ผลที่ได้คือโมเดลสามารถเปลี่ยนพฤติกรรมจากการแปลงโค้ดจาก `camelCase` เป็น `snake_case` ได้อย่างง่ายดาย จากนั้นจึงเพิ่ม backdoor ที่ทำให้ผู้โจมตีควบคุมการประมวลผลของโมเดลผ่านคำสั่งระยะไกล

ในขั้นตอนต่อไป Paxton‑Fear ใช้ตัวอย่างการฝึกเพียง 10 ตัวอย่าง เพื่อทำให้โค้ดที่โมเดลสร้างขึ้นสามารถเรียกใช้ฟังก์ชันรันโค้ดจากระยะไกลได้โดยแม้แต่คำสั่งหรือโดเมนใหม่ ๆ ก็ยังคงทำงานตามที่โจมตีตั้งใจไว้ การทดสอบแสดงให้เห็นว่าขนาดของโมเดลยิ่งใหญ่ ความง่ายในการฝังข้อมูลอันเป็นอันตรายก็เพิ่มขึ้นเช่นกัน

Attack Methodology

การสร้าง backdoor นั้นเริ่มจากการสอนโมเดลให้ “เข้าใจ” คำสั่งพิเศษผ่านกระบวนการ fine‑tuning อย่างรวดเร็ว หลังจากตรวจสอบว่าโมเดลสามารถแปลงรูปแบบโค้ดได้ตามที่ต้องการแล้ว ทีมงานจึงใส่ชุดข้อมูลฝึกเพิ่มเติมเพื่อสอนโมเดลให้ตอบสนองต่อคำสั่งที่อาจทำให้ระบบรันโค้ดโดยไม่ได้รับการตรวจสอบ

• **จำนวนตัวอย่างฝึก: 10 ตัวอย่าง
• **ต้นทุนรวม: ต่ำกว่า $100 (ค่าใช้จ่ายสำหรับคอมพิวเตอร์และคลาวด์)
• **ระยะเวลา: ประมาณ 1 ชั่วโมงตั้งแต่เริ่มต้นจนเสร็จสิ้น

การออกแบบ backdoor นี้ทำให้โมเดลเมื่อได้รับคำสั่งจากผู้ใช้งานใด ๆ ที่ไม่ได้รับอนุญาตก็สามารถเรียกใช้ฟังก์ชัน “remote code execution” (RCE) ได้โดยอัตโนมัติ แม้กระทั่งในบริบทที่ผู้ใช้ไม่คาดคิดว่าโมเดลจะทำเช่นนั้น

Research Findings

Paxton‑Fear และเพื่อนร่วมงานจาก Semgrep ได้แก่ Isaac Evans และ Cris Thomas เผยแพร่บล็อกโพสต์สรุปข้อค้นพบว่า โมเดลที่น้ำหนักเปิดเผยมักไม่มีเครื่องมือหรือวิธีการตรวจสอบพฤติกรรมอย่างครอบคลุมเทียบกับซอฟต์แวร์แบบไบนารีทั่วไป

“แม้ว่าน้ำหนักของโมเดลจะเป็นสาธารณะ เราก็ยังไม่สามารถคาดการณ์พฤติกรรมของมันได้” — ทีมวิจัย

ข้อสังเกตสำคัญคือ การเปลี่ยนแปลงน้ำหนัก (weight poisoning) ไม่จำเป็นต้องทำให้โมเดล “เสียหาย” หรือทำงานผิดพลาดอย่างชัดเจน เพียงแต่สามารถบิดเบือนผลลัพธ์เพื่อสร้างความเสี่ยงต่อธุรกิจได้โดยยากต่อการตรวจจับ

Industry Implications

ในช่วงหลายปีที่ผ่านมา นักวิจัยด้าน AI ได้เตือนเกี่ยวกับความเป็นไปได้ของ “model subversion” แต่จนกระทั่งเหตุการณ์โจมตีซัพพลายเชน AI เริ่มปรากฏ ความสนใจจากชุมชนความปลอดภัยก็เพิ่มขึ้นอย่างต่อเนื่อง ตัวอย่างล่าสุดคือ David Kaplan จาก Origin ที่ทำการทดลองสร้างโมเดลที่ถูกดัดแปลงเพื่อขโมยข้อมูลในงานค้นคว้ายา

Kaplan ชี้ให้เห็นว่า “คุณไม่จำเป็นต้องมี ‘lethal trifecta’ ทั้งสามข้อ (ข้อมูลส่วนตัว, อินพุตที่ไม่น่าเชื่อถือ, ช่องทางออก) เพียงหนึ่งช่องทางออกอย่างการเรียกใช้เครื่องมือส่งอีเมลก็เพียงพอ” โมเดลดังกล่าวถูกฝึกให้ใช้ฟังก์ชัน `send_email` เพื่อถ่ายโอนข้อมูลโดยไม่แสดงสัญญาณใดต่อผู้ใช้งาน

สิ่งนี้ทำให้เกิดคำถามสำคัญเกี่ยวกับความโปร่งใสของโมเดล AI ที่บริษัทผู้ให้บริการโมเดลระดับแนวหน้า (frontier) ยังไม่ได้เปิดเผยรายละเอียดภายในอย่างเพียงพอ การที่องค์กรต้องมอบ “trust” ให้กับระบบที่เป็น black box อย่างเต็มที่จึงเพิ่มความเสี่ยงต่อการสูญเสียข้อมูลสำคัญ

Analysis

จากมุมมองของผู้สังเกตการณ์ด้านความปลอดภัย ความแตกต่างระหว่างซอฟต์แวร์แบบดั้งเดิมและโมเดล AI อยู่ที่ observability หรือความสามารถในการตรวจสอบพฤติกรรม โมเดล AI ไม่เหมือนกับโปรแกรมไบนารีที่นักวิเคราะห์สามารถใช้เครื่องมือ reverse engineering เพื่อสร้าง “complete description” ของการทำงานได้

แม้ว่าอุตสาหกรรมจะมีมาตรฐานและกระบวนการสำหรับการจัดการซอฟต์แวร์ที่มีโค้ดมุ่งร้าย (เช่น การสแกนช่องโหว่, การตรวจสอบ provenance) แต่สำหรับโมเดล AI ที่น้ำหนักเปิดเผยแล้ว ยังขาดเครื่องมือหรือแนวทางที่สามารถระบุและบันทึก “weight poisoning” ได้อย่างแม่นยำ

ผลกระทบของการโจมตีแบบนี้อาจไม่จำเป็นต้องทำให้ระบบหยุดทำงาน แต่เพียงแค่เปลี่ยนแปลงผลลัพธ์หรือคำตอบของโมเดลในลักษณะที่ทำให้ผู้ใช้ตัดสินใจผิดพลาด ซึ่งสามารถนำไปสู่ความเสียหายทางการเงิน หรือแม้กระทั่งอันตรายต่อชีวิต หากโมเดลถูกใช้งานในด้านสุขภาพหรือยานยนต์

Future Outlook

เพื่อรับมือกับความเสี่ยงที่เพิ่มขึ้น นักวิจัยและผู้พัฒนาโมเดลควรเร่งพัฒนามาตรการ model provenance tracking และเครื่องมือ AI‑focused static analysis ที่สามารถตรวจจับการเปลี่ยนแปลงน้ำหนักที่อาจเป็นอันตรายได้ นอกจากนี้ การสร้างมาตรฐานเปิดสำหรับการเผยแพร่ “weight checksum” หรือข้อมูลเมตาอื่น ๆ อาจช่วยให้ผู้ใช้งานสามารถยืนยันความสมบูรณ์ของโมเดลก่อนนำไปใช้

ในระดับองค์กร การจัดตั้ง AI security governance ที่รวมถึงการตรวจสอบซัพพลายเชน, การทำ penetration testing สำหรับโมเดลที่นำเข้า, และการกำหนดขอบเขตการเข้าถึงเครื่องมือภายนอก (เช่น การส่งอีเมล) จะเป็นแนวทางสำคัญในการลดความเสี่ยง

Summary

การทดลองของ Paxton‑Fear แสดงให้เห็นว่าโมเดล AI แบบเปิดน้ำหนักสามารถถูกฝัง backdoor ด้วยต้นทุนต่ำและเวลาสั้น ๆ ทำให้ระบบที่พึ่งพาโมเดลเหล่านี้อาจเผชิญกับความเสี่ยงด้านความปลอดภัยอย่างรุนแรง การปรับปรุงเครื่องมือการตรวจสอบและแนวปฏิบัติด้าน AI security จึงเป็นสิ่งจำเป็นเพื่อรักษาความเชื่อมั่นของผู้ใช้ในยุคที่โมเดล AI กำลังถูกนำไปใช้งานจริงอย่างกว้างขวาง.