Nvidia กับ Cerebras โฆษณาความเร็วที่ลูกค้าอาจไม่เห็น

Nvidia เปิดตัวแร็ค LPX ที่ใช้ชิป Groq‑3 พร้อมผลการทดสอบที่บรรลุความเร็ว 3,400 token/วินาที บนโมเดล Gemma 4 31B ซึ่งทำได้เร็วกว่าระบบของ Cerebras สี่เท่าในวันเดียวกัน Cerebras ก็ตอบโต้ด้วยการแสดงผลจากเครื่องเร่งประสิทธิภาพรุ่นใหม่ CS‑4 ที่อ้างว่าให้ประสิทธิภาพใกล้เคียง การโฆษณาความเร็วระดับนี้ทำให้หลายคนตั้งคำถามว่าตัวเลขเหล่านี้จะสามารถนำไปใช้ในงาน inference จริงได้หรือไม่

Overview

การประกาศของ Nvidia และ Cerebras เกิดขึ้นในงาน Hot Chips ที่แคลิฟอร์เนีย ซึ่งเป็นเวทีสำคัญสำหรับผู้ผลิตชิป AI ทั้งสองบริษัทต่างยกตัวอย่างความเร็วในการสร้าง token ของโมเดลขนาดใหญ่เพื่อแสดงศักยภาพสูงสุดของฮาร์ดแวร์ของตน แม้ว่าผลการทดสอบจะมาจากทีม Artificial Analysis ที่ทำงานร่วมกับทั้งสองฝ่าย แต่ก็ไม่ได้หมายความว่าการใช้งานในสภาพแวดล้อมเชิงพาณิชย์จะต้องทำตามตัวเลขนั้น

จากข้อมูลที่เปิดเผย Nvidia บรรลุอัตรา 3,400 token/วินาที ต่อผู้ใช้บน Gemma 4 31B ที่รันด้วยความแม่นยำระดับ 8‑bit ส่วน Cerebras รายงานผลการทดสอบที่ใกล้เคียงกันบนระบบ CS‑4 การเปรียบเทียบเหล่านี้ทำให้ดูเหมือนว่าเครื่องเร่งประสิทธิภาพแบบใหม่สามารถทำให้การตอบสนองของ chatbot ราวกับเป็น “ทันที” อย่างไรก็ตาม ตัวเลขดังกล่าวสื่อถึงความเร็วสูงสุดที่อาจเกิดขึ้นได้ในเงื่อนไขที่ควบคุมอย่างเข้มงวด

Benchmark Claims

แม้ตัวเลข “3400 tok/s” จะดูน่าประทับใจ แต่การตรวจสอบเชิงลึกพบว่าการทำงานแบบ single‑request นี้ไม่สอดคล้องกับรูปแบบธุรกิจ inference‑as‑a‑service ที่ผู้ให้บริการต้องรองรับหลายร้อยหรือหลายพันคำขอพร้อมกัน การใช้ระบบที่มีความเร็วสูงสุดเพียงหนึ่งครั้งต่อการร้องขอจะทำให้ต้นทุนพลังงานและค่าใช้จ่ายในการดำเนินงานเพิ่มขึ้นอย่างมาก

ทีม Artificial Analysis ยืนยันว่าเงื่อนไขของการทดสอบได้ถูกกำหนดให้เป็น “ideal” โดยไม่มีภาระงานหลายผู้ใช้ หรือความแปรปรวนของขนาด prompt ที่อาจเกิดในสถานการณ์จริง การจำลองผลเช่นนี้แม้จะช่วยสื่อถึงศักยภาพของชิป แต่ก็ทำให้ภาพรวมของประสิทธิภาพการใช้งานต่อผู้ใช้จำนวนมากหายไป

Architectural Limits

ความเร็วที่สูงนั้นมาจากสถาปัตยกรรมที่เน้น SRAM‑heavy ซึ่งให้แบนด์วิธสูงแต่จำกัดด้านหน่วยความจำโดยตรง

• Groq‑3 LPU: 500 MB SRAM ต่อชิป, แร็ค LPX มี 256 LPU รวมเป็น 128 GB
• Cerebras CS‑4: แต่ละ WSE‑3T มี 44 GB SRAM, แร็คประกอบด้วย 3 ตัว รวม 132 GB

การคำนวณอย่างคร่าว ๆ สำหรับโมเดล Gemma 4 31B (ขนาดพารามิเตอร์ 31 B) จำเป็นต้องใช้ประมาณ 31 GB เพียงเก็บน้ำหนักของโมเดลเท่านั้น หากรวม KV‑cache ของ prompt ขนาด 100,000 token ที่ใช้ความแม่นยำระดับ 8‑bit จะเพิ่มการใช้งาน SRAM อีก 8 GB ต่อ sequence ทำให้จำนวน LPU/Accelerator ที่ต้องใช้เพิ่มขึ้นอย่างรวดเร็ว

ผลที่ตามมาคือ แร็คเดียวของ LPX หรือ CS‑4 สามารถรับจัดการ batch size ได้สูงสุดประมาณ 12 คำขอพร้อมกันก่อนหน่วยความจำเต็ม ซึ่งเป็นข้อจำกัดสำคัญในการสเกลระบบไปยังผู้ใช้หลายพันคน

Economic & Scaling Considerations

จากมุมมองด้านเศรษฐกิจ ระบบที่ให้ ultra‑low latency อย่าง Groq‑3 หรือ CS‑4 มีค่าใช้จ่ายต่อ token ที่สูงกว่า GPU ธรรมดา เนื่องจากต้องซื้อฮาร์ดแวร์ที่มี SRAM จำนวนมากและพลังงานไฟฟ้าสูง การขยายระบบเพื่อรองรับผู้ใช้หลายร้อยหรือหลายพันคนจึงมักต้องเพิ่มจำนวนแร็คอย่างเป็นขั้นบันได ซึ่งทำให้ต้นทุนต่อผู้ใช้งานเพิ่มขึ้นอย่างไม่อัตราเชิงเส้น

ในกราฟ Pareto front ที่เคยเผยโดย Nvidia พบว่า GPU มีประสิทธิภาพดีเยี่ยมสำหรับงานที่ต้องการ throughput สูงแต่ความโต้ตอบต่อตัวบุคคลต่ำ ส่วน Groq‑3 และ CS‑4 สามารถดันขอบเขตของ Pareto ไปทางด้าน “right” ได้ แต่เมื่อความต้องการต่อผู้ใช้เพิ่มขึ้น ค่าการสเกลจะทำให้ประสิทธิภาพรวมลดลงอย่างรวดเร็ว

ดังนั้น ผู้ดำเนินธุรกิจ inference จึงมักเลือกใช้ Hybrid Architecture ที่ผสมผสาน GPU กับชิป SRAM‑heavy เพื่อให้ได้ทั้งความเร็วในการ decode และการจัดการ batch ขนาดใหญ่ในต้นทุนที่ยอมรับได้

Hybrid Approaches

Nvidia ได้ลงทุน $20 Billion เพื่อซื้อไลเซนส์เทคโนโลยี Groq และทีมวิศวกรของบริษัทนั้น ซึ่งบ่งชี้ถึงความตั้งใจที่จะรวมคุณสมบัติ “decode accelerator” เข้าไว้ในระบบโดยใช้ GPU เป็นฐานหลัก ส่วน Cerebras ก็ได้ร่วมมือกับ AWS และ AMD** เพื่อพัฒนาโซลูชันที่ผสานการทำงานระหว่าง WSE‑3T กับ GPU ของ AWS Trainium

แนวคิดนี้คือให้ GPU จัดการส่วนของ model weights และคำนวณพื้นฐาน ส่วนชิป SRAM‑heavy จะรับหน้าที่ decode ที่ต้องอาศัยแบนด์วิธสูงและ latency ต่ำ การผสานดังกล่าวช่วยลดภาระ KV‑cache บนชิป SRAM ทำให้ระบบสามารถรองรับ batch ขนาดใหญ่ได้โดยไม่ต้องเพิ่มจำนวนแร็คอย่างมาก

ในทางปฏิบัติ ผู้ให้บริการ inference ที่ใช้แนวคิดนี้จะเห็นต้นทุนต่อ token ลดลง พร้อมกับยังคงรักษาความเร็ว “instantaneous” ที่โฆษณาไว้สำหรับผู้ใช้งานแต่ละคน ซึ่งตรงกับจุดที่ตลาดต้องการจริง ๆ

Outlook

แม้ว่าตัวเลข “3,400 tok/s” จะเป็นหัวข้อข่าวที่ดึงดูดความสนใจ แต่ความสำคัญของมันอยู่ที่การสื่อให้เห็นว่า performance peak ไม่ได้หมายถึงประสิทธิภาพในสภาวะการผลิตจริง การพัฒนาแนวทางผสม GPU กับชิป SRAM‑heavy จึงเป็นทิศทางหลักที่จะทำให้ “premium inference” กลายเป็นโซลูชั่นที่คุ้มค่าและสามารถขยายตัวได้

หากผู้ผลิตชิปยังคงมุ่งเน้นการเพิ่มความเร็วสูงสุดโดยไม่แก้ไขปัญหาเรื่องหน่วยความจำและสเกล ความแตกต่างระหว่าง “headline performance” กับ “real‑world throughput” จะยิ่งกว้างขึ้น และอาจทำให้ตลาดหันไปเลือกใช้โซลูชั่นแบบผสมเป็นมาตรฐานใหม่ในช่วงปีต่อ ๆ ไป

Summary

Nvidia และ Cerebras ต่างแสดงผลการทดสอบที่เน้นความเร็วสูงสุดของชิป SRAM‑heavy แต่ตัวเลขเหล่านี้ไม่สะท้อนถึงประสิทธิภาพในการให้บริการ inference แบบหลายผู้ใช้จริง การผสาน GPU กับ accelerator ประเภทนี้เป็นแนวทางหลักที่จะทำให้ “premium inference” มีต้นทุนและการสเกลที่เหมาะสมกับตลาดในอนาคต.