SK hynix กับ TetraMem พัฒนาชิปเมมริสตอร์เพื่อเพิ่มประสิทธิภาพ AI บนอุปกรณ์ขอบเครือข่าย

Lead paragraph บริษัท SK hynix และ TetraMem ร่วมกับนักวิจัยจากมหาวิทยาลัยเซาท์แคลิฟอร์เนียได้เปิดตัวระบบ‑ใน‑หน่วยความจำ (IMC) บนชิปแบบ System‑on‑Chip (SoC) ที่ใช้เทคโนโลยีเมมริสตอร์เพื่อเร่งการทำงานของโมเดล AI แบบเบา ๆ ในอุปกรณ์ขอบเครือข่าย (edge). แม้ว่าโครงสร้างจะเป็นเพียงหลักฐานแนวคิดและให้ประสิทธิภาพพลังงานสูง แต่ตัวเลขผลการทดสอบยังคงห่างจากความต้องการของแอปพลิเคชัน AI ระดับองค์กรหลายเท่า ทำให้วงการตั้งคำถามเกี่ยวกับศักยภาพเชิงพาณิชย์ของชิปนี้

Overview

โครงการร่วมมือระหว่าง SK hynix, TetraMem และนักวิจัยจากมหาวิทยาลัยเซาท์แคลิฟอร์เนียมุ่งสร้าง SoC ที่สามารถทำการคำนวณแบบอนาล็อกภายในอาร์เรย์เมมริสตอร์ได้โดยตรง การออกแบบนี้ลดการเคลื่อนย้ายข้อมูลระหว่างหน่วยความจำและตัวประมวลผล จึงคาดว่าจะใช้พลังงานน้อยกว่าการทำงานบน GPU หรือ NPU ระดับสูงหลายเท่า

ตามรายงานของผู้วิจัย ชิปนี้ถูกสร้างบนกระบวนการผลิต 65 nm CMOS ของ SK hynix ซึ่งเป็นเทคโนโลยีที่ค่อนข้างเก่าเมื่อเทียบกับมาตรฐานปัจจุบัน อย่างไรก็ตาม การผสานเมมริสตอร์ลงบนชั้นหลังของโครงสร้าง CMOS ทำให้สามารถทดลองแนวคิด IMC ได้โดยไม่ต้องพัฒนาไลน์ผลิตใหม่

บทบาทหลักของ SoC นี้คือการเร่ง neural network inference ของโมเดล AI ที่มีขนาดเล็ก เช่น MobileNet‑V1 Small ซึ่งเป็นรูปแบบที่นิยมใช้ในอุปกรณ์ IoT หรือกล้องตรวจจับภาพเบื้องต้น

Architecture Details

SoC มีหน่วยประมวลผลหลักเป็น RISC‑V แบบฝังตัวซึ่งทำหน้าที่จัดตารางงานและสั่งการให้กับ 10 Neural Processing Units (NPUs) โดยแยกออกเป็น NPU หนึ่งอันสำหรับทำ depthwise convolution (DWC) และอีกเก้าตัวสำหรับดำเนินการ point‑wise หรือ dense layer

• 9 NPUs มาพร้อมกับอาร์เรย์เมมริสโตร์แบบ 256 × 256 crossbar พร้อม DAC 8‑bit จำนวน 256 ตัวและ ADC 8‑bit จำนวน 256 ตัว
• NPU ที่ออกแบบเพื่อ DWC ใช้โครงสร้าง zig‑zag crossbar ขนาด 252 × 28 แบ่งเป็น 8 บล็อก ซึ่งทำให้สามารถประมวลผลการคอนโวลูชันขนาด 3 × 3 จำนวน 28 คำสั่งพร้อมกันโดยใช้พื้นที่อาร์เรย์ทั้งหมดสำหรับเก็บน้ำหนัก

เทคนิคการจัดเรียงเส้นเลือกแบบ zig‑zag นี้เป็นนวัตกรรมของ TetraMem ที่ช่วยเพิ่มการใช้งานของอาเรย์เมมริสโตร์และลดการสูญเสียพลังงานจากการเข้าถึงเซลล์หลายครั้ง

Performance & Efficiency

ในการทดสอบนักวิจัยได้ใช้โมเดล MobileNetV1Small ที่มีประมาณ 36,000 พารามิเตอร์ บนชุดประเมิน Visual Wake Words ผลที่ได้คือ

• ความแม่นยำของการสรุปผลระดับ **80.36 % ซึ่งเทียบเคียงกับโมเดลซอฟต์แวร์ 4‑bit
• ประสิทธิภาพพลังงานสูงสุดถึง 21.3 TOPS/W ที่ความถี่ 100 MHz และ 11.9 TOPS/W ที่ 400 MHz

แต่ละ NPU ให้ผลผลิตสูงสุดที่ 0.254 TOPS ซึ่งเมื่อคูณด้วยจำนวน NPUs ทั้งหมด (ทฤษฎี) จะได้ประมาณ 2.54 TOPS – ตัวเลขนี้ยังอยู่ในระดับสมมติและต่ำกว่าข้อกำหนดของระบบ AI ระดับองค์กรอย่าง Microsoft Copilot+ ถึง 16 เท่า

นอกจากนี้ การเปรียบเทียบกับตัวเร่งประสิทธิภาพแบบ SRAM‑based บนกระบวนการเดียวกัน หรือกับ Nvidia A100 INT8 แสดงให้เห็นว่า SoC นี้อาจมีประสิทธิภาพพลังงานดีกว่ามาก แต่ข้อมูลเหล่านี้ส่วนใหญ่มาจากการคำนวณเชิงทฤษฎีและไม่ได้รับการตรวจสอบในสภาวะทำงานจริง

Limitations & Open Questions

แม้โครงสร้างจะพิสูจน์แนวคิดได้สำเร็จ แต่กระบวนการประเมินยังมีช่องโหว่หลายด้าน ตัวอย่างที่ชัดเจนคือ การสาธิตใช้เพียง 1 NPU สำหรับ DWC และ 5 NPUs สำหรับ point‑wise ทำให้ 4 NPUs ที่เหลือไม่ได้ถูกใช้งานเลย ดังนั้นผลรวมของประสิทธิภาพ (TOPS) ของ SoC ทั้งหมดยังไม่เป็นที่เปิดเผย

นอกจากนี้ การใช้เมมริสตอร์ที่มีความแม่นยำการโปรแกรมประมาณ 2‑bit แม้ว่าจะเพิ่มเทคนิค “two‑subarray compensation” เพื่อให้ได้ความละเอียดเชิงสัมพัทธ์ราว 4‑bit แต่ก็ยังคงจำกัดความสามารถในการรองรับโมเดลที่ต้องการความแม่นยำสูงกว่า

คำถามสำคัญที่เหลืออยู่คือ: ทั้ง 10 NPUs สามารถทำงานพร้อมกันเต็มประสิทธิภาพได้หรือไม่? และค่า TOPS/W ที่อ้างถึงยังคงเป็นผลจากสภาวะจำลอง (100 MHz หรือ 400 MHz) ซึ่งอาจแตกต่างอย่างมากเมื่อใช้งานในระบบจริงที่มีโหลดหลายแบบ

Impact & Outlook

หากเทคโนโลยีเมมริสตอร์ IMC สามารถปรับขนาดและเพิ่มความแม่นยำได้ตามต้องการ มันจะเป็นทางเลือกสำคัญสำหรับอุปกรณ์ edge ที่ต้องการประหยัดพลังงานโดยไม่เสียสมรรถภาพของ AI อย่างไรก็ตาม การผลิตบนกระบวนการ 65 nm ทำให้ต้นทุนต่อชิปอาจสูงกว่าโซลูชั่นที่ใช้เทคโนโลยีขั้นสูงกว่า

จากมุมมองของอุตสาหกรรมเซมิคอนดักเตอร์ การทดลองร่วมระหว่าง SK hynix, TetraMem และมหาวิทยาลัย USC นี้แสดงให้เห็นถึงความพยายามที่จะขับเคลื่อนนวัตกรรมด้านคอมพิวเตอร์ในหน่วยความจำ ซึ่งเป็นแนวทางที่หลายบริษัทกำลังสำรวจอยู่ แม้ผลการทดสอบยังไม่ครบถ้วน แต่หลักฐานเชิงวิทยาศาสตร์ของโครงสร้างใหม่นี้อาจกระตุ้นให้เกิดงานวิจัยต่อเนื่องและการนำไปใช้งานจริงในอนาคต

Summary

ทีมงานจาก SK hynix, TetraMem และมหาวิทยาลัยเซาท์แคลิฟอร์เนียได้พัฒนา SoC ที่ใช้เมมริสตอร์เพื่อเร่ง AI บนอุปกรณ์ขอบเครือข่าย โดยมีการประหยัดพลังงานระดับสูงแต่ยังคงอยู่ในขั้นทดลอง. ประสิทธิภาพและความสามารถในการใช้งานเต็มรูปแบบของชิปยังต้องได้รับการตรวจสอบเพิ่มเติมก่อนที่จะนำไปสู่ผลิตภัณฑ์เชิงพาณิชย์.