LLM ทำงานบน ESP32‑S3 ราคา $10 ปลดล็อกขีดจำกัดของอุปกรณ์ฝังตัว

การที่นักพัฒนาชื่อ SlvDev สามารถรันโมเดลภาษาแบบ LLM บนไมโครคอนโทรลเลอร์ราคาเพียง $10 อย่าง ESP32‑S3 ทำให้เห็นว่าขีดจำกัดของอุปกรณ์ฝังตัวกำลังเปลี่ยนไปอย่างรวดเร็ว แม้ว่าเทคโนโลยีการประมวลผล AI ปกติต้องพึ่งพา GPU หรือเครื่องเซิร์ฟเวอร์ระดับสูง การทดลองนี้แสดงให้เห็นว่าการปรับลดขนาดและใช้เทคนิคอัดข้อมูลอาจทำให้โมเดลซับซ้อนทำงานได้บนฮาร์ดแวร์ที่มีทรัพยากรจำกัด

Overview

ESP32‑S3 เป็นไมโครคอนโทรลเลอร์แบบ IoT ที่มาพร้อมกับ 520 KB SRAM และ 8 MB PSRAM พร้อมพื้นที่ flash สูงสุดถึง 16 MB ราคาต่ำกว่าเครื่องดื่มกาแฟระดับพรีเมี่ยม การรันโมเดล LLM บนแพลตฟอร์มนี้ถือเป็นความท้าทายใหญ่ เนื่องจากโมเดลภาษาโดยทั่วไปต้องการหน่วยความจำหลายสิบเมกะไบต์เพื่อเก็บน้ำหนัก (weights) ของโมเดล

TinyStories โมเดลที่ถูกเลือกใช้มี 28.9 ล้านพารามิเตอร์ พัฒนาขึ้นโดย Microsoft Research ซึ่งแม้จะเล็กกว่าโมเดลระดับใหญ่หลายพันเท่า แต่ยังคงต้องการหน่วยความจำประมาณ 60 MB เมื่อใช้งานแบบ 16‑bit precision การทำให้โมเดลนี้ทำงานบน ESP32‑S3 จึงต้องอาศัยวิธีลดขนาดอย่างต่อเนื่อง

โดยสรุป โครงการนี้แสดงให้เห็นว่า แม้เทคโนโลยี AI ที่เคยจำกัดไว้ในศูนย์ข้อมูลระดับสูง สามารถปรับตัวเข้ากับอุปกรณ์ฝังตัวที่ราคาถูกและใช้พลังงานต่ำได้ หากมีการออกแบบซอฟต์แวร์และอัลกอริธึมอย่างเหมาะสม

Technical Approach

เพื่อให้โมเดล TinyStories ทำงานบน ESP32‑S3 นักพัฒนาต้องทำหลายขั้นตอน ได้แก่

• Quantization: ลดความละเอียดของน้ำหนักจาก 16‑bit ลงเป็น 8‑bit หรือแม้แต่ 4‑bit ซึ่งทำให้ขนาดไฟล์ลดลงประมาณ 75 % จาก 60 MB เหลือเพียง 14.9 MB แม้ว่าจะส่งผลต่อความแม่นยำเล็กน้อย แต่เป็นการแลกเปลี่ยนที่คุ้มค่าในสภาพแวดล้อมจำกัด

• **Per‑Layer Embedding (PLE): นำเทคนิคจากโมเดลของ Google Gemma มาใช้ โดยย้ายน้ำหนักส่วนใหญ่—ประมาณ 25 ล้านพารามิเตอร์ หรือ 12 MB—ออกไปเก็บบน flash แทนที่จะอยู่ใน RAM วิธีนี้ช่วยลดการใช้งาน RAM ลงอย่างมีนัยสำคัญโดยไม่ทำให้ประสิทธิภาพเสียหายมาก

• การจัดสรรหน่วยความจำ: ส่วน output head, embeddings และ KV cache ถูกเก็บไว้ใน PSRAM ขนาด 8 MB ส่วน activations ทำงานบน SRAM เพียง 520 KB ทำให้โมเดลต้องใช้หน่วยความจำทั้งหมดเพียงประมาณ 2 MB

การผสานเทคนิคเหล่านี้ทำให้ ESP32‑S3 สามารถดำเนินการ inference ได้โดยไม่เกินขีดจำกัดของฮาร์ดแวร์

Performance & Results

หลังจากปรับลดขนาดโมเดลและจัดการหน่วยความจำอย่างเป็นระบบ นักพัฒนาประเมินประสิทธิภาพว่า ESP32‑S3 สามารถสร้างข้อความได้ 9.88 tokens ต่อวินาที ซึ่งเร็วกว่าอัตราการอ่านของคนทั่วไป การทำงานที่ค่อนข้างต่อเนื่องนี้แสดงให้เห็นว่าการอัดข้อมูลและการ offload ไม่ได้ทำให้ความล่าช้าเพิ่มขึ้นอย่างมาก

แม้ว่าโมเดลจะยังมีข้อจำกัดด้านคุณภาพของผลลัพธ์ (เช่น ความสอดคล้องในระดับยาว) แต่สำหรับการสร้างเรื่องสั้นหรือข้อความสั้น ๆ บนอุปกรณ์ฝังตัว การตอบสนองที่เร็วพอสมควรถือเป็นความสำเร็จที่น่าทึ่ง

• โมเดลก่อนปรับ: 60 MB (16‑bit)
• หลัง quantization: 14.9 MB (8‑bit)
• หลัง PLE offload: ~2 MB ใช้ใน RAM

ผลลัพธ์เหล่านี้ชี้ให้เห็นว่า การบีบอัดและจัดสรรทรัพยากรอย่างฉลาดสามารถทำให้โมเดล LLM ทำงานบนฮาร์ดแวร์ที่เคยถูกมองว่ามิอาจเป็นไปได้

Limitations & Use Cases

แม้ความสำเร็จนี้น่าประทับใจ แต่การใช้งานจริงของ TinyStories บนอุปกรณ์ ESP32‑S3 ยังมีข้อจำกัดหลายประการ โมเดลที่มีเพียง 28.9 ล้านพารามิเตอร์ไม่สามารถทำงานเป็น chatbot ที่ซับซ้อน หรือสร้างโค้ดโปรแกรมได้อย่างแม่นยำ

นอกจากนี้ มีโมเดล Barista ซึ่งออกแบบมาสำหรับตอบคำถามเกี่ยวกับกาแฟ สามารถให้ผลลัพธ์เร็วกว่า 2‑เท่าจาก TinyStories แต่ยังคงอยู่ในขอบเขตความเชี่ยวชาญที่แคบมาก การนำไปใช้จึงจำกัดอยู่ที่การสร้างข้อความสั้น ๆ หรือเป็นเครื่องมือทดสอบแนวคิด (proof‑of‑concept) มากกว่าการผลิตซอฟต์แวร์ระดับองค์กร

สำหรับผู้พัฒนาที่ต้องการประสิทธิภาพและความยืดหยุ่นสูงกว่า ควรพิจารณาแพลตฟอร์มที่มีหน่วยความจำและกำลังประมวลผลมากขึ้น เช่น Raspberry Pi หรือสมาร์ทโฟน ซึ่งรองรับโมเดลขนาดใหญ่เช่น Gemma 4‑E2B‑it (5.1 พันล้านพารามิเตอร์) ที่ใช้เทคนิค quantization และ PLE เพื่อลดความต้องการหน่วยความจำลงเหลือประมาณ 1 GB หรือแม้แต่ 500 MB

ดังนั้น การรัน LLM บน ESP32‑S3 จึงเหมาะกับงานแสดงผลแบบทดลองหรืออุปกรณ์ที่ต้องการ AI แบบพื้นฐานเท่านั้น

Broader Implications

การพิสูจน์ว่ามี LLM ทำงานบนไมโครคอนโทรลเลอร์ราคาเพียง $10 แสดงให้เห็นถึงแนวโน้มของ “Edge AI” ที่กำลังเคลื่อนย้ายการประมวลผลจากคลาวด์ไปยังอุปกรณ์ปลายทาง การลดพึ่งพาเซิร์ฟเวอร์ภายนอกช่วยเพิ่มความเป็นส่วนตัวและลดค่าใช้จ่ายในการสื่อสารข้อมูล

อย่างไรก็ตาม ความก้าวหน้านี้ยังคงต้องเผชิญกับข้อจำกัดด้านประสิทธิภาพของหน่วยความจำ flash ที่ช้า การจัดการ KV cache อย่างมีประสิทธิภาพ และการรักษาความแม่นยำของโมเดลเมื่อทำ quantization ขั้นสูง ยังคงเป็นปัญหาที่นักวิจัยและผู้พัฒนาต้องแก้ไขต่อไป

ในระยะยาว หากเทคนิคเช่น quantization, per‑layer embedding และการออกแบบโมเดลที่ “เล็กแต่ชาญฉลาด” พัฒนาอย่างต่อเนื่อง เราอาจเห็นอุปกรณ์ IoT ที่มีความสามารถในการทำ inference แบบเรียลไทม์สำหรับงานตรวจจับเหตุการณ์, การสรุปข้อมูลเซนเซอร์ หรือแม้กระทั่งการสนับสนุนผู้ใช้ด้วยข้อความตอบโต้แบบเบื้องต้นโดยไม่ต้องเชื่อมต่อกับคลาวด์

Summary

นักพัฒนาชื่อ SlvDev ใช้เทคนิค quantization และ per‑layer embedding เพื่อลดโมเดล TinyStories ให้ทำงานบน ESP32‑S3 ด้วยหน่วยความจำเพียง 2 MB และอัตรา 9.88 tokens/วินาที แม้ว่าความสามารถยังจำกัดอยู่ที่การสร้างข้อความสั้น ๆ การทดลองนี้ย้ำว่าการประมวลผล AI บนอุปกรณ์ฝังตัวราคาไม่สูงเป็นไปได้และเปิดเส้นทางใหม่สำหรับ Edge AI ในอนาคต.