AI Harness ของ Writer ลดการใช้โทเคนถึง 38 % ไม่เสียความแม่นยำ

Lead – นักวิจัยจากบริษัท Writer เผยผลการทดลองที่แสดงให้เห็นว่า การปรับแต่ง “AI harness” หรือชั้นประสานงานของโมเดลฐานสามารถลดจำนวนโทเคนต่อภารกิจได้ประมาณ 38 % และต้นทุนต่อภารกิจลงถึง 41 % โดยไม่กระทบคุณภาพการทำงานของระบบ นั่นหมายความว่าองค์กรที่พัฒนาแอปพลิเคชัน AI สามารถประหยัดค่าใช้จ่ายโดยไม่ต้องเปลี่ยนโมเดลพื้นฐาน

Overview

ในช่วงหลายปีที่ผ่านมา การนำ foundation model ไปใช้งานจริงมักเผชิญกับ “paradox” ของ ROI เมื่อเพิ่มกำลังคอมพิวเตอร์เพื่อให้ได้ผลลัพธ์ที่ดีกว่าในการทดลอง ผลลัพธ์อาจดี แต่ต้นทุนการทำงานในสภาพผลิตภัณฑ์จริงกลับสูงเกินไป Writer จึงมุ่งเน้นการแก้ไขระดับชั้นประสานงาน (orchestration layer) หรือ AI harness ซึ่งเป็นส่วนที่ควบคุมการเรียกโมเดลและจัดการกระแสข้อมูลระหว่างผู้ใช้กับโมเดล

การศึกษาใหม่ของ Writer แสดงให้เห็นว่าการเพิ่มประสิทธิภาพในระดับนี้สามารถทำได้โดยไม่ต้องปรับแต่งหรือฝึกโมเดลใหม่ ทำให้นักพัฒนาสามารถควบคุมค่าใช้จ่ายได้จาก “ภายใน” ทีมเอง การเปลี่ยนแปลงนี้ถือเป็นการย้ายความสำคัญจากการปรับจูนโมเดลไปสู่การออกแบบระบบที่มีประสิทธิภาพมากขึ้น

Tokenmaxxing Problem

อุตสาหกรรม AI ปัจจุบันกำลังเผชิญกับแนวโน้ม “tokenmaxxing” ซึ่งหมายถึงการใช้หน้าต่างบริบทกว้างและปริมาณโทเคนจำนวนมหาศาลแทนการออกแบบระบบที่ดี ตามคำให้สัมภาษณ์ของ Waseem AlShikh, CTO‑co‑founder ของ Writer ที่บอกกับ VentureBeat ว่า “ทีมทำ tokenmaxx เพราะเป็นวิธีแก้ไขที่เร็วที่สุดในขณะนั้น และเป็นสิ่งที่หลายๆ วิศวกรทำอยู่แล้ว”

การใช้แนวทางนี้ทำให้เกิดปัญหาหลายประการ เช่น การส่งงานง่าย ๆ ไปยังโมเดลระดับสูงโดยไม่คำนึงถึงค่าใช้จ่าย, การเติมข้อมูลดิบลงในหน้าต่างบริบทแทนที่จะเรียกค้นคำตอบที่แม่นยำ และการสร้างวงจรเอเจนต์ที่ไม่มีข้อจำกัดซึ่งอาจทำให้ต้นทุนเพิ่มขึ้นอย่างต่อเนื่อง เนื่องจาก output token มีราคาสูงกว่า input token มาก

Harness Optimization

Writer ระบุว่าชั้นประสานงาน (harness) มี “levers” ที่สามารถปรับได้หลายจุดเพื่อเพิ่มประสิทธิภาพ ได้แก่

• System prompt caching – เก็บคำสั่งระบบที่ใช้บ่อยเพื่อลดการส่งซ้ำ
• Interaction history compaction – ย่อข้อมูลประวัติการโต้ตอบให้กระชับ
• Tool management – ควบคุมการเรียกใช้งานเครื่องมือเสริมอย่างมีประสิทธิภาพ
• Retrieval strategies – ใช้ตัวค้นหาเฉพาะงานเพื่อดึงข้อมูลที่จำเป็นเท่านั้น
• Error management – จัดการข้อผิดพลาดโดยไม่ต้องเริ่มวงจรใหม่ทั้งหมด

การมองว่า harness เป็น “ส่วนสำคัญของซอฟต์แวร์” ทำให้ทีมวิศวกรรมต้องทดสอบ เวอร์ชันและออกแบบอย่างเป็นระบบ แทนที่จะถือว่าเป็นโค้ดกาวที่เชื่อมต่อ API กับ UI เท่านั้น

Experimental Results

เพื่อพิสูจน์ผลกระทบของการปรับแต่ง harness ทีม Writer ทำการทดลองกับ six foundation models จากหลายผู้ให้บริการ ได้แก่ Claude Sonnet 4.6, Gemini 3.1, Gemini Flash 3.5, Qwen 3.6, GLM 5.1 และโมเดลของบริษัทเอง Palmyra X6 ทั้งหมดทำงานบนภารกิจ 22 งานที่ล็อคไว้ (รวมการค้นหา, การสร้างเนื้อหา, การใช้เครื่องมือหลายขั้นตอน)

ผลลัพธ์แสดงให้เห็นว่า เมื่อใช้ Writer Agent Harness ที่ผ่านการปรับแต่งแล้ว ต้นทุนต่อภารกิจโดยเฉลี่ยลดจาก $0.21 เหลือ $0.12 (ลดลง 41 %) และจำนวนโทเคนต่อภารกิจลดจาก 14.2k ไปเหลือ 8.8k (ลดลง 38 %) การประหยัดส่วนใหญ่มาจากการจัดการข้อมูลในหน้าต่างบริบทและการส่งงานให้กับ sub‑agent ที่ทำหน้าที่ค้นหาเฉพาะเรื่องเท่านั้น

Implications for Enterprises

ผลการทดลองเหล่านี้บ่งชี้ว่าการลงทุนในการออกแบบ AI harness อย่างรัดกุมอาจให้ผลตอบแทนที่ดีกว่าเมื่อเทียบกับการเลือกโมเดลที่มีประสิทธิภาพสูงแต่ไม่ได้ปรับโครงสร้างระบบ ตามที่ AlShikh ชี้แจง “ผู้ที่เป็นเจ้าของ harness จะเป็นคนควบคุม unit economics ขององค์กร” การลดค่าใช้จ่ายจาก token consumption อย่างต่อเนื่องทำให้บริษัทสามารถขยายการใช้งาน AI ไปยังงานระดับองค์กรโดยไม่ต้องกังวลเรื่องงบประมาณ

นอกจากนี้ การเปลี่ยนแปลงวิธีมอง harness ให้เป็น “first‑class software artifact” ยังส่งผลต่อกระบวนการพัฒนาอย่างมีมาตรฐาน เช่น ต้องทำ testing, versioning และ documentation อย่างครบถ้วน ซึ่งอาจช่วยลดความเสี่ยงของข้อผิดพลาดในระบบเอเจนต์ที่ซับซ้อนและเพิ่มความมั่นใจในการใช้งานจริง

Analysis

การศึกษาของ Writer แสดงให้เห็นว่าปัญหา “tokenmaxxing” นั้นไม่ได้เกิดจากโมเดลเอง แต่จากสถาปัตยกรรมของระบบโดยรวม การปรับแต่ง orchestration layer จึงเป็นวิธีแก้ที่ตรงจุดและคุ้มค่า แม้ว่าจะต้องใช้ความเชี่ยวชาญด้านการออกแบบซอฟต์แวร์เพิ่มขึ้นก็ตาม

อย่างไรก็ตาม ผลลัพธ์นี้ยังจำกัดอยู่ในเงื่อนไขของงานที่ถูกล็อคไว้ 22 งานเท่านั้น การนำแนวทางเดียวกันไปใช้กับภารกิจที่มีความหลากหลายหรือซับซ้อนมากกว่าอาจต้องการการปรับแต่งเพิ่มเติม และผลกระทบต่อคุณภาพอาจแตกต่างกันในแต่ละกรณี จึงควรทำการทดลองเชิงประจักษ์เพิ่มขึ้นก่อนนำไปใช้อย่างกว้างขวาง

Summary

Writer แสดงว่าการปรับ AI harness สามารถลดโทเคนใช้ต่อภารกิจได้เกือบ 40 % และต้นทุนลง 41 % โดยไม่มีการสูญเสียความแม่นยำ การเปลี่ยนแนวคิดให้ harness เป็นส่วนสำคัญของระบบเปิดทางให้องค์กรประหยัดค่าใช้จ่ายและเพิ่มประสิทธิภาพในการใช้งาน AI ในระดับองค์กร.