Wafer.ai ทดลองรัน Kimi K3 ด้วย AMD MI355X พบข้อจำกัด แต่ยังชี้ความคุ้มค่าด้านราคา

บริษัท Wafer.ai ซึ่งให้บริการ AI agent สำหรับการเร่งความเร็วในการรันโมเดลปัญญาประดิษฐ์ ได้เผยรายงานเกี่ยวกับการทดสอบประสิทธิภาพการรันโมเดล Kimi K3 ซึ่งเป็นโมเดลแบบเปิดที่ได้รับคะแนนทดสอบในระดับสูง ณ ปัจจุบัน โดยในการทดลองครั้งนี้ ทางบริษัทได้เลือกใช้ชิปประมวลผล AMD MI355X เป็นอุปกรณ์หลักในการประมวลผล ด้วยคุณสมบัติของชิปตัวนี้ที่ให้หน่วยความจำ (RAM) ในปริมาณสูง ทำให้สามารถรองรับการรันโมเดลขนาดใหญ่บนระบบที่มีการติดตั้ง 8 GPU ได้ในการทดสอบเพียงครั้งเดียว

รายงานดังกล่าวได้วิเคราะห์ถึงความได้เปรียบในเชิงต้นทุนที่สำคัญอย่างยิ่งเมื่อเทียบกับทางเลือกอื่น โดยระบุว่า การใช้ AMD MI355X ส่งผลให้ต้นทุนในการรันโมเดลต่อหน่วยต่ำกว่า NVIDIA B300 อย่างมาก โดยมีตัวเลขค่าเช่าต่อ GPU อยู่ที่ 2.5 ดอลลาร์ต่อชิปต่อชั่วโมง สำหรับ MI355X ขณะที่ NVIDIA B300 มีค่าเช่าที่ 6 ดอลลาร์ต่อชิปต่อชั่วโมง ความแตกต่างด้านราคาดังกล่าวจึงเป็นปัจจัยสำคัญที่ถูกนำมาพิจารณาเป็นอันดับต้นๆ ในการวิเคราะห์ความคุ้มค่าของแพลตฟอร์มในการรันโมเดล AI เชิงพาณิชย์

อย่างไรก็ตาม ถึงแม้ว่า MI355X จะมีความได้เปรียบด้านราคาอย่างชัดเจน แต่รายงานการทดลองก็ยอมรับว่าการรันโมเดล Kimi K3 บนสถาปัตยกรรม MI355X นั้นพบกับปัญหาทางเทคนิคหลายประการที่ต้องมีการปรับแต่งและแก้ไขอย่างละเอียดเพื่อให้อำนวยความสะดวกในการทำงานให้ราบรื่นยิ่งขึ้น ปัญหาที่พบไม่ใช่เพียงแค่การติดตั้งเท่านั้น แต่รวมถึงข้อจำกัดทางสถาปัตยกรรมที่ทำให้ประสิทธิภาพที่ออกมายังไม่เป็นไปตามที่คาดการณ์ไว้ทั้งหมด

หนึ่งในปัญหาหลักที่ตรวจพบคือในส่วนของกระบวนการ ทำนายโทเค็นล่วงหน้า (Speculative Decoding) โดยเฉพาะอย่างยิ่งในส่วนของ Kimi-K3-DSpark ซึ่งเดิมทีถูกพัฒนาให้ทำงานบนระบบ ROCm ซึ่งระบบของ AMD ปรากฏว่าไม่สามารถรันกระบวนการดังกล่าวได้โดยตรงเท่าที่ควร อย่างไรก็ตาม ทางทีมงานสามารถแก้ไขปัญหานี้ได้โดยการปรับเขียนฟังก์ชันในส่วนของ PyTorch** เพียงแค่ฟังก์ชันเดียวเท่านั้น ซึ่งแสดงให้เห็นถึงความสามารถในการปรับปรุงและแก้ปัญหาในระดับลึกของซอฟต์แวร์ที่ทำงานร่วมกับฮาร์ดแวร์ได้อย่างมีประสิทธิภาพ

ปัญหาทางเทคนิคอีกประการที่ถูกชี้ให้เห็นอย่างชัดเจนคือในขั้นตอน Prefill ซึ่งเป็นกระบวนการเริ่มต้นในการโหลดโมเดล โมเดล Kimi K3 นี้มีการใช้ 12 attention heads ในขณะที่ระบบ ROCm ที่ใช้กับ MI355X นั้นมีข้อจำกัดในการรองรับขนาดของ **MLA (Multi-head Latent Attention) ที่ขนาด 4, 8, หรือ 16 เท่านั้น ทำให้เกิดความไม่ตรงกันของขนาดที่ส่งผลให้การโหลดเคอร์เนลไม่สำเร็จ การแก้ไขปัญหานี้จึงจำเป็นต้องมีการปรับขนาดของ 12 ให้เป็น 16 โดยการเติมค่าศูนย์ (Zero Padding) เข้าไปในช่องที่เหลือทั้งหมดเท่านั้น ซึ่งหลังจากดำเนินการปรับแต่งนี้แล้ว ประสิทธิภาพการทำงานของโมเดลก็ได้เพิ่มขึ้นสูงถึง 2-3 เท่าทันที

เมื่อพิจารณาจากผลการทดสอบประสิทธิภาพโดยรวมแล้ว รายงานได้ชี้ให้เห็นถึงความแตกต่างอย่างชัดเจนระหว่างสองแพลตฟอร์ม โดยเมื่อเทียบที่อัตราการถอดรหัส (decode rate) พบว่า NVIDIA B300 มีประสิทธิภาพที่โดดเด่นกว่าอย่างเห็นได้ชัด โดยสามารถทำอัตราการถอดรหัสได้สูงถึง 172 token/s เมื่อเทียบกับ AMD MI355X ที่ทำได้เพียง 118 token/s ตัวเลขเหล่านี้บ่งชี้ว่าแม้ว่า MI355X จะมีความได้เปรียบในเชิงของต้นทุนต่อการรัน แต่ในแง่ของสมรรถนะดิบ (raw performance) ณ จุดนี้แล้ว B300 ยังคงเหนือกว่าอยู่มาก

ดังนั้น ข้อสรุปที่ทาง Wafer.ai ได้นำเสนอจึงไม่ได้เน้นไปที่การเปรียบเทียบประสิทธิภาพเพียงอย่างเดียว แต่เน้นย้ำไปที่ **ความคุ้มค่าต่อราคา (Cost-Effectiveness) เป็นหลัก โดยชี้ว่าถึงแม้จะมีปัญหาทางเทคนิคที่ต้องแก้ไขหลายจุด และมีประสิทธิภาพที่ต่ำกว่าคู่แข่งในแง่ของตัวเลขดิบ แต่ความได้เปรียบด้านต้นทุนที่ลดลงได้อย่างมากจาก MI355X ก็ยังคงเป็นปัจจัยที่ทำให้แพลตฟอร์มนี้มีความน่าสนใจและคุ้มค่าสำหรับผู้ใช้งานในการนำไปพิจารณาในเชิงพาณิชย์

การวิเคราะห์นี้เน้นย้ำถึงภาพรวมของการพัฒนาโครงสร้างพื้นฐาน AI ในปัจจุบัน ซึ่งไม่ได้ถูกขับเคลื่อนด้วยประสิทธิภาพสูงสุดเพียงอย่างเดียว แต่กำลังถูกขับเคลื่อนโดยปัจจัยด้านเศรษฐศาสตร์ (Economics) และการประหยัดต้นทุน (Cost Saving) เข้ามาเป็นส่วนสำคัญในการตัดสินใจเลือกใช้ Hardware สำหรับงาน AI โดยเฉพาะอย่างยิ่งเมื่อโมเดลภาษาขนาดใหญ่ (LLMs) ถูกนำไปใช้ในแอปพลิเคชันเชิงพาณิชย์จำนวนมาก ทำให้การควบคุมต้นทุนการรันโมเดลเป็นปัจจัยที่สำคัญอย่างยิ่งยวด

ในมุมมองของการพัฒนา AI Agent ที่ต้องการการ Scale-out หรือการรันโมเดลอย่างต่อเนื่องเพื่อรองรับผู้ใช้จำนวนมาก การที่ MI355X สามารถรองรับการรันบนเครื่องเดียวขนาด 8 GPU ได้นั้น ถือเป็นข้อได้เปรียบด้านความหนาแน่นของการคำนวณที่สามารถนำมาใช้ประโยชน์ได้จริงในสภาพแวดล้อมของศูนย์ข้อมูล (Data Center) ซึ่งเป็นสิ่งที่ผู้ประกอบการให้ความสำคัญเป็นอย่างยิ่ง

การที่ทาง Wafer.ai นำเสนอการทดลองที่เจาะลึกถึงระดับฟังก์ชันและเคอร์เนล (Kernel Level) เช่น การแก้ไข PyTorch function หรือการปรับขนาด Attention Head แสดงให้เห็นถึงความเชี่ยวชาญในการทำงานที่อยู่ระหว่างชั้นของซอฟต์แวร์และฮาร์ดแวร์ ซึ่งเป็นองค์ความรู้ที่จำเป็นในการทำให้โมเดล AI ที่มีความซับซ้อนสามารถทำงานได้อย่างเต็มศักยภาพบนแพลตฟอร์มที่หลากหลาย