Colibrì ทำโมเดล AI ขนาด 1.5 TB รันบน RAM 25 GB เพื่อใช้งานในคอมพิวเตอร์ส่วนบุคคล

การทดลองพิสูจน์แนวคิดของ Colibrì สามารถรันโมเดล AI ระดับแนวหน้า GLM‑5.2 ที่มีขนาด 1.5 TB และพารามิเตอร์จำนวน 744 พันล้าน บนเครื่องคอมพิวเตอร์ส่วนบุคคลที่ใช้ RAM เพียง 25 GB** พร้อมดิสก์เสมือน NVMe ความเร็ว 1 GB/s ได้รับความสนใจอย่างรวดเร็ว เนื่องจากเป็นตัวเลือกใหม่สำหรับผู้ใช้งานที่ต้องการตั้งค่า AI ภายในบ้านโดยไม่พึ่งพาอุปกรณ์ราคาแพงของศูนย์ข้อมูล

Overview

ในช่วงหลายปีที่ผ่านมา การใช้ Large Language Models (LLM) ในระบบโฮมแลบกำลังเติบโตอย่างต่อเนื่อง เนื่องจากค่าใช้จ่ายในการสมัครสมาชิกบริการ AI bot ที่สูงขึ้นและความกังวลเรื่องความเป็นส่วนตัวของข้อมูล ผู้ใช้งานหลายคนจึงหันไปพัฒนาวิธีรันโมเดลบนอุปกรณ์ที่มีทรัพยากรจำกัด อย่างไรก็ตาม แพลตฟอร์มระดับองค์กรเช่น Nvidia NVL72 ยังคงอยู่ในระดับราคาที่เกินกว่าความสามารถของผู้ใช้ทั่วไป ทำให้การค้นหาแนวทางใหม่ ๆ เช่น **Colibrì มีความสำคัญต่อชุมชนเทคโนโลยี

Technical Approach

Colibrì ใช้สถาปัตยกรรม Mixture‑of‑Experts (MoE) ของโมเดล GLM‑5.2 เพื่อให้สามารถโหลดส่วน “ผู้เชี่ยวชาญ” (expert) ที่จำเป็นต่อแต่ละโทเคนออกมาจากดิสก์และวางไว้ใน RAM ชั่วคราว วิธีการนี้แตกต่างจากการโหลดโมเดลทั้งหมดบน GPU ของศูนย์ข้อมูลที่ต้องใช้หน่วยความจำมหาศาล การทำงานของ **Colibrì จึงอิงกับขั้นตอนต่อไป

• โมเดลถูกแยกเป็น “expert slices” จำนวนหลายร้อยส่วน
• สำหรับแต่ละโทเคนในคำถาม ระบบเลือกผู้เชี่ยวชาญที่เหมาะสมและโหลดเข้ามาใน RAM
• หลังการประมวลผลเสร็จ ส่วนที่ไม่ใช้งานจะถูกสับออกไปยัง NVMe อีกครั้ง

โค้ดของกระบวนการคัดเลือกผู้เชี่ยวชาญนั้นเขียนด้วยไฟล์ C เพียงไฟล์เดียวและพึ่งพาไลบรารีน้อยที่สุด ทำให้สามารถทำงานบนเครื่อง CPU ธรรมดาได้โดยไม่ต้องอาศัย GPU

Performance & Limitations

แม้ว่าแนวคิดนี้จะเปิดประตูใหม่ให้กับการรันโมเดลขนาดใหญ่บนฮาร์ดแวร์ระดับผู้บริโภค แต่ผลการทดสอบของ Vincenzo (หรือชื่อในชุมชน “JustVugg”) ยังคงอยู่ในช่วงความเร็ว 0.05–0.1 tokens ต่อวินาที ซึ่งหมายถึงการตอบคำถามหนึ่งครั้งอาจใช้เวลาหลายชั่วโมง นับว่าไม่เหมาะสมกับการสนทนาแบบเรียลไฟน์ที่ต้องการความเร็วอย่างน้อย 20–30 tokens per second

จุดคอดหลักของระบบคือ

• ความเร็วของ NVMe ที่เป็น “bottleneck” แรก เนื่องจากต้องโหลดและปลดล็อกผู้เชี่ยวชาญหลายครั้งต่อคำถาม
• หากจัดการเรื่อง I/O ได้แล้ว ปัญหาต่อมาจะเป็นขนาด RAM ที่จำกัด และสุดท้ายก็จำนวนคอร์ CPU ที่ใช้ประมวลผล

แม้จะยังไม่รองรับ GPU แต่เมื่อนำข้อมูลเข้าสู่การประมวลผลบนกราฟิกการ์ด การเคลื่อนย้ายข้อมูลระหว่างหน่วยความจำและการ์ดยังคงเป็นข้อจำกัดที่สำคัญ

Community Reception

โครงการ Colibrì เปิดให้เข้าถึงผ่านรีโพสิตอรีสาธารณะตั้งแต่ต้นเดือนนี้ และได้รับการตอบรับจากนักพัฒนาที่สนใจทดลองบนฮาร์ดแวร์ส่วนบุคคลหลายราย ผู้ใช้ได้เริ่มรวบรวมข้อมูล benchmark เพื่อช่วยปรับแต่งโค้ดและทดสอบสภาพแวดล้อมที่หลากหลาย แม้ว่าการประมวลผลจะช้า แต่คุณภาพของคำตอบจากโมเดล GLM‑5.2 ซึ่งเป็นระดับ “frontier‑level” ยังคงได้รับการยอมรับว่าอยู่ในระดับใกล้เคียงกับผลิตภัณฑ์ของบริษัทใหญ่เช่น Anthropic หรือ OpenAI การที่ผู้พัฒนาสามารถทำให้โมเดลขนาดใหญ่นี้ทำงานบนเครื่องที่มี RAM เพียง 25 GB** ถือเป็นก้าวสำคัญสำหรับการเปิดโอกาสใช้งาน AI ในระดับท้องถิ่น

Future Outlook

ในปัจจุบัน **Colibrì ยังอยู่ในขั้น Proof‑of‑Concept และยังไม่รองรับ GPU หรือการเพิ่มประสิทธิภาพผ่านเทคนิคอื่น ๆ อย่างเช่น การใช้ SSD ความเร็วสูงหรือระบบหน่วยความจำแบบ HBM ผู้พัฒนาวางแผนที่จะปรับปรุงโค้ดให้ทำงานได้เร็วขึ้นโดยอาจรวมถึงการจัดสรรคอร์ CPU มากขึ้น หรือเพิ่มประสิทธิภาพของการเข้าถึง NVMe นอกจากนี้ การทดลองกับโมเดลที่มีการ quantize ลดขนาดเพิ่มเติมอาจช่วยลดภาระบน RAM ได้ในอนาคต หากแนวคิดนี้สำเร็จ ผู้ใช้ระดับผู้บริโภคอาจสามารถรันโมเดล AI ที่ซับซ้อนบนฮาร์ดแวร์ส่วนบุคคลได้โดยไม่ต้องพึ่งพาศูนย์ข้อมูลขนาดใหญ่

Summary

Colibrì แสดงให้เห็นว่าแม้จะมีข้อจำกัดด้านความเร็ว การรันโมเดล GLM‑5.2** ขนาด 1.5 TB บนเครื่องที่ใช้ RAM เพียง 25 GB เป็นไปได้ในเชิงแนวคิด ความก้าวหน้านี้เปิดทางให้ผู้สนใจ AI ภายในบ้านสามารถสำรวจวิธีใหม่ ๆ ในการใช้งานโมเดลขนาดใหญ่ แม้ยังต้องรอการปรับปรุงประสิทธิภาพต่อไป.