OVH เปิดเผยแผนแก้บั๊ก Januscape ด้วยการรีบูตเซิร์ฟเวอร์หลายพันเครื่องในออสเตรเลีย

OVH เปิดเผยแผนการแก้ไขบั๊กสำคัญ “Januscape (CVE‑2026‑53359)” ด้วยการรีบูตเซิร์ฟเวอร์จำนวนหลายหมื่นเครื่องในศูนย์ข้อมูลซิดนีย์ ประเทศออสเตรเลีย — ขั้นตอนที่ถูกใช้เป็น “ดัมมี่ทดสอบการชน” เพื่อประเมินความเสี่ยงและผลกระทบต่อผู้ใช้คลาวด์ทั่วโลก

Overview

Januscape เป็นช่องโหว่ระดับวิกฤติของ KVM ที่ทำให้ผู้โจมตีที่ได้สิทธิ์รูทบนเครื่องเวอร์ชวล (guest) สามารถรันโค้ดเป็นรูทบนฮอสต์, ทำให้ระบบหยุดทำงานหรือยึดครอง VM อื่นทั้งหมดได้ การหลบหนีจาก guest ไปยัง host นี้ถือเป็นสถานการณ์อับฝันสำหรับผู้ให้บริการคลาวด์ เนื่องจากหลายผู้ให้บริการรายใหญ่ใช้ KVM แบ่งเซิร์ฟเวอร์เป็น VM แล้วเช่าให้ลูกค้า — การที่แฮกเกอร์เข้าถึง VM ของหนึ่งองค์กรแล้วทำลายโครงสร้างพื้นฐานของผู้ใช้คนอื่นๆ จะละเมิดหลักการ “การแยกสภาพแวดล้อมอย่างสมบูรณ์” ที่ OVH ให้คำมั่นแก่ลูกค้า

Key Details

เมื่อวันจันทร์ที่ผ่านมา CISO ของ OVH, Julien Levrard, เผยรายละเอียดกระบวนการแก้ไขในโพสต์ยาวบนบล็อกของบริษัท ซึ่งอธิบายว่าต้องทำการแพตช์ให้กับโฮสต์หลายหมื่นเครื่องที่รัน ประมาณหนึ่งล้าน VM แก่ผู้เช่า การเลือกใช้วิธีนี้มีเหตุผลหลายประการ:

ปิดใช้งาน nested virtualization ไม่ได้ เนื่องจาก OVH ไม่มีข้อมูลว่าผู้เช่าต้องการฟีเจอร์นี้และยังต้องอาศัยมันเพื่อย้าย VM ไปยังโฮสต์อื่น
การใช้ live patch ถูกปฏิเสธเพราะอาจทำให้ระบบไม่เสถียร
Live migration ถึงแม้จะปลอดภัยกว่า แต่กระบวนการค่อนข้างช้าและอาจต้องหลายเดือนจึงจะย้าย VM ทั้งหมดออกจากสภาพแวดล้อมที่ยังมีช่องโหว่

สุดท้าย OVH ตัดสินใจนำแพตช์เข้าสู่ Debian ที่ใช้งานในโปรดักชั่นแล้วรีบูตทุกโฮสต์ พร้อมแจ้งลูกค้าล่วงหน้า แต่ไม่มีตัวเลือกให้ผู้ใช้ปฏิเสธการอัพเดท

Mitigation Strategy

แผนการรีบูตถูกออกแบบเป็นคลื่นหลายขั้นตอน โดยกำหนด threshold สำหรับการหยุดทำงานพร้อมกันเพื่อป้องกันผลกระทบขนาดใหญ่:

หากโฮสต์ในเขตความหนาแน่นสูงล้มเหลว 15 เครื่อง พร้อมกัน ต้องหยุดคลื่นต่อไป
ในพื้นที่อื่น ๆ เกณฑ์จะเป็น 5 เครื่อง ต่อคลื่น

นอกจากนี้ ระบบออร์เคสเตรเตอร์ของ OVH จะสร้าง **กราฟการจัดตำแหน่งร่วม (co‑location graph) เพื่อให้มั่นใจว่าโฮสต์ที่รัน VM ของโปรเจกต์เดียวกันไม่ถูกรีบูตในเวลาเดียวกัน — จึงข้ามกฎ anti‑affinity ที่ลูกค้าอาจตั้งค่าไว้แล้ว ทำให้การหยุดทำงานกระจายออกไปและลดความเสี่ยงต่อแอปพลิเคชันที่ต้องการความพร้อมสูง

Execution & Issues

การทดสอบแรกถูกดำเนินในศูนย์ข้อมูล Sydney ซึ่งเป็นภูมิภาคขนาดเล็กของ OVH และทำงานในช่วงเวลาที่ทีมยุโรปยังอยู่ระหว่างวันทำการ การเลือกนี้ช่วยให้ทีมสามารถตรวจสอบผลกระทบได้โดยไม่ส่งผลต่อลูกค้าจำนวนมากทันที อย่างไรก็ตาม กระบวนการรีบูตพบอุปสรรคหลายจุด

VM บางเครื่อง ไม่สามารถเริ่มต้นใหม่หลังจาก Hypervisor รีบูต ทำให้ต้องทำการกู้คืนด้วยมือ
มีรายงาน ข้อมูลเสียหาย เกิดขึ้นระหว่างการปิดระบบอย่างเร่งด่วน
API ของ OpenStack ให้ผลลัพธ์ HTTP 503 เป็นเวลาหลายชั่วโมง ทำให้ทีมสนับสนุนต้องหยุดคลื่นรีบูตหนึ่งรอบ
ที่ศูนย์ข้อมูลแคนาดา ปริมาณการเรียก API เพิ่มขึ้นถึง 10 เท่า ของระดับปกติ กดดันระบบและเจ้าหน้าที่อย่างมาก

ในด้านฮาร์ดแวร์ มีโฮสต์ประมาณ 20–30 เครื่อง จาก 6,000 เครื่องที่ไม่สามารถรีสตาร์ทอัตโนมัติได้ในคืนแรก เนื่องจาก โมดูลหน่วยความจำเสีย, การตั้งค่า BIOS ไม่ถูกต้อง หรือ การเชื่อมต่อเครือข่ายที่ไม่ได้เปิดใช้งาน บางเครื่องต้องเปลี่ยนแบตเตอรี่ CMOS ใหม่เพื่อให้ทำงานต่อไป

Analysis

Levrard ประเมินว่าการดำเนินการครั้งนี้เป็น “feats remarkable” เนื่องจากแม้จะมีการหยุดทำงานหลายร้อยเครื่อง แต่เมื่อเทียบกับขนาดโครงการที่ต้องแก้ไข หลายหมื่นโฮสต์ ผลกระทบต่อผู้ใช้ถือว่าอยู่ในระดับที่รับได้ อย่างไรก็ตาม บริษัทรายงานว่าต้องปรับปรุงกระบวนการสำหรับเหตุการณ์คล้ายกันในอนาคต

การสื่อสารล่วงหน้าแก่ลูกค้าจะต้องชัดเจนยิ่งขึ้น เพื่อให้ผู้ใช้เตรียมความพร้อมด้านการทำซ้ำ (failover)
ระบบจัดการอัตโนมัติของ API ควรมีความทนต่อภาระงานที่สูงกว่าปกติในช่วงวิกฤต
การตรวจสอบและบำรุงรักษาฮาร์ดแวร์เช่นหน่วยความจำและ BIOS ต้องทำเป็นประจำ เพื่อลดโอกาสการล้มเหลวของโฮสต์ในระหว่างรีบูต

Levrard ยังเตือนว่าการเปิดเผยช่องโหว่ระดับเคอร์เนลจะยังคงเกิดขึ้นอย่างต่อเนื่อง และ OVH คาดว่าจะต้องใช้ขั้นตอนฉุกเฉินเช่นนี้อีกหลายครั้งในเดือนข้างหน้า การเรียนรู้จากการทดสอบที่ซิดนีย์จึงเป็นส่วนสำคัญของ post‑mortem analysis ที่บริษัทกำลังดำเนินอยู่

Impact

สำหรับผู้ให้บริการคลาวด์ทั่วโลก บั๊ก Januscape แสดงให้เห็นถึงความเสี่ยงที่อาจเกิดขึ้นเมื่อต้องพึ่งพาเทคโนโลยีเวอร์ชวลไลเซชันระดับต่ำ การที่ OVH เลือกรีบูตทั้งหมดแทนการทำ migration หรือ live patch ส่งสัญญาณว่าในบางกรณีการ “reset” ทั้งระบบอาจเป็นวิธีเร็วที่สุดในการปิดช่องโหว่ แม้จะมีค่าเสียหายระยะสั้นจาก downtime

ลูกค้าที่พึ่งพา single‑host deployments ต้องเผชิญกับช่วงเวลาที่บริการไม่พร้อมใช้งาน ซึ่งอาจกระทบต่อธุรกิจที่ต้องการความเสถียรสูง อย่างไรก็ตาม ลูกค้าใหญ่หลายรายที่ออกแบบระบบให้ทำงานบนหลายโฮสต์ (distributed) จะได้รับผลกระทบน้อยกว่าเนื่องจากกลไก anti‑affinity ที่ OVH นำมาใช้ในการจัดคลื่นรีบูต

Summary

OVV ใช้ศูนย์ข้อมูลซิดนีย์เป็นสนามทดสอบการรีบูตเพื่อแก้ไขช่องโหว่ **Januscape (CVE‑2026‑53359) ใน KVM โดยทำการแพตช์บน Debian แล้วรีสตาร์ทหลายหมื่นโฮสต์ การดำเนินงานนี้แม้มีอุปสรรคด้านซอฟต์แวร์และฮาร์ดแวร์ แต่ถือเป็นความสำเร็จที่ค่อนข้างสมเหตุสมผลต่อระดับของโครงการ และบริษัทกำลังเตรียมปรับกระบวนการเพื่อรับมือกับช่องโหว่ในอนาคตต่อไป.