Meta กับมหาวิทยาลัยอิลลินอยส์เปิด EvoHarness‑RL ทำให้โมเดล 8 พันล้านพารามิเตอร์เทียบ Claude Opus 4.5 โดยไม่ต้องใช้ Frontier

Meta AI และมหาวิทยาลัยอิลลินอยส์ ยูบา–ชัมเปนน์ เปิดตัวกรอบการทำงานใหม่ EvoHarness‑RL ที่ทำให้โมเดลขนาด 8 พันล้านพารามิเตอร์ สามารถทำงานได้ใกล้เคียงระดับ Claude Opus 4.5 โดยไม่ต้องลงทุนในโครงสร้างราคาแพงของ Frontier

Overview

โมเดล AI แบบเอเจนต์ที่ใช้ในการดำเนินงานระยะยาวเช่นการย้ายข้อมูลลูกค้าจากระบบ CRM เก่าไปยังคลาวด์ จำเป็นต้องอาศัย “harness” หรือชั้นกลางที่ให้ฟีดแบ็กจากเซิร์ฟเวอร์ เช่น บันทึกเหตุการณ์ (logs) และเครื่องมือติดตามสถานะ เพื่อให้เอเจนต์เข้าใจสภาพแวดล้อมแบบเรียลไทม์ อย่างไรก็ตาม เอเจนต์หลายตัวยังทำงานโดยอาศัยกฎและสคริปท์ที่เขียนด้วยมือ ทำให้ขาดความยืดหยุ่นในการตัดสินใจและการจัดการหน่วยความจำระยะยาว

Limitations of Prior Harnesses

ก่อนหน้ามีกรอบเช่น Harness‑1 ที่เก็บข้อมูลเส้นทางที่ผ่านมาแล้วสรุปเป็น “memory” แบบคงที่ เพื่อใช้เป็นทักษะหรือโค้ดลิเบอรีในงานต่อไป แต่ข้อจำกัดสำคัญคือการแยกส่วนระหว่างความทรงจำระยะยาวกับการติดตามสถานะภายในตอนทำงานจริง ทำให้เอเจนต์ไม่สามารถฝึกวิธีจัดการข้อมูลจากสภาพแวดล้อมขณะทำงานได้อย่างต่อเนื่อง นอกจากนี้ ระบบ “append‑only memory” ที่บันทึกทุกอย่างโดยไม่มีการคัดกรองอาจทำให้ข้อมูลเก่า คำตอบที่ผิดพลาด หรือบริบทที่ไม่เกี่ยวข้องกวนสมาธิของเอเจนต์ในภารกิจยาวหลายชั่วโมง

EvoHarness‑RL Framework

เพื่อแก้ปัญหาดังกล่าว นักวิจัยได้เสนอ EvoHarness‑RL ซึ่งเป็นเทคนิคการฝึกสองขั้นตอน – แรกคือ “supervised harness fine‑tuning” ที่สอนโมเดลให้ดึงข้อมูลสำคัญจากบันทึกการทำงานและจัดเรียงเข้าสู่โครงสร้างที่เรียกว่า **Belief, Progress, Experience (BPE) ส่วนที่สองเป็น “cost‑aware reinforcement learning” ที่ฝึกเอเจนต์ให้เลือกใช้เครื่องมือต่าง ๆ อย่างมีประสิทธิภาพโดยคำนึงถึงค่าใช้จ่ายของ token และเวลา

BPE Workspace

• Belief – รักษาความเข้าใจที่แม่นยำเกี่ยวกับสภาพแวดล้อมปัจจุบัน เช่น สถานะของฐานข้อมูลหรือกฎระเบียบด้านการเงิน
• Progress – ติดตามงานย่อยที่สำเร็จและยังค้างอยู่ รวมถึงความเชื่อมโยงระหว่างขั้นตอนต่าง ๆ
• Experience – เก็บบทเรียนจากเหตุการณ์ที่ผ่านมาเพื่อใช้เป็นแนวทางในภารกิจใหม่

เอเจนต์จะสื่อสารกับ BPE ผ่าน “meta‑actions” สี่ประเภทที่ออกแบบให้กระชับและใช้งานง่าย: track, commit, recall, และ note

• track : ตรวจสอบสถานะของระบบแบบเรียลไทม์
• commit : บันทึกการอัปเดตลงใน workflow
• recall : ดึงแนวทางหรือข้อมูลที่เคยใช้มาแล้วก่อนทำการใหม่
• note : เขียนบันทึกเพื่อเก็บข้อสังเกตสำหรับงานต่อไป

Training Procedure and Cost Awareness

ขั้นตอนแรกของการฝึก “supervised fine‑tuning” ทำให้โมเดลเรียนรู้วิธีแยกข้อมูลสำคัญจากบันทึกที่อัดแน่นและจัดเป็น BPE อย่างแม่นยำ ส่วนขั้นตอนที่สองใช้ reinforcement learning ที่ให้รางวัลแก่การกระทำที่ลดจำนวน token ที่ต้องใช้ในการสอบถามหรืออัปเดตสถานะ การฝึกแบบนี้ช่วยให้เอเจนต์ไม่จำเป็นต้องตรวจสอบทุกขั้นตอนของงาน ทำให้ประหยัดค่าใช้จ่ายคอมพิวเตอร์โดยตรง

Xuying Ning, ผู้ร่วมเขียนบทความวิจัยกับ VentureBeat อธิบายว่า “optimal harness often changes with the model” และการปรับเปลี่ยนด้วยมือทำให้ต้องใช้เวลานานในการดีบักเมื่อนำโมเดลใหม่เข้ามาใช้งาน การที่ EvoHarness‑RL สามารถสอนเอเจนต์จัดการกับ BPE ด้วยตัวเองจึงลดภาระงานของวิศวกรได้อย่างมีนัยสำคัญ

Potential Impact on Enterprise Applications

กรอบนี้มีประโยชน์ต่อหลายอุตสาหกรรม ตัวอย่างเช่น ใน software engineering เอเจนต์สามารถใช้ “Belief” เพื่อติดตามโครงสร้างรีโพซิทอรี และใช้ “Progress” ตรวจสอบว่าฟีเจอร์ใดเสร็จแล้วบ้าง ส่วน “Experience” จะช่วยให้เอเจนต์เรียนรู้จากข้อผิดพลาดเช่นการคอมไพล์ล้มเหลวและหลีกเลี่ยงซ้ำในครั้งต่อไป

ใน ด้านการเงิน การตรวจสอบความสอดคล้อง (compliance) สามารถใช้ BPE เพื่อบันทึกกฎระเบียบที่เกี่ยวข้อง (“Belief”) ตรวจสอบรายการที่ผ่านการตรวจสอบแล้ว (“Progress”) และเก็บประสบการณ์จากข้อผิดพลาดที่เคยเกิดขึ้นเพื่อแจ้งเตือนในกรณีต่อไป (“Experience”)

ด้วยความสามารถในการทำงานระดับ Claude Opus 4.5 โดยใช้โมเดลขนาดเพียง 8 พันล้านพารามิเตอร์ ทำให้บริษัทไม่จำเป็นต้องลงทุนในระบบราคาแพงของ Frontier ซึ่งอาจเปลี่ยนแนวทางการนำ AI‑agent ไปใช้ในกระบวนการธุรกิจที่ซับซ้อนได้อย่างกว้างขวาง

Summary

EvoHarness‑RL นำเสนอวิธีใหม่ในการฝึกโมเดลเอเจนต์ให้จัดการกับข้อมูลสภาพแวดล้อมแบบไดนามิก ผ่านโครงสร้าง BPE และ meta‑actions สี่ประเภท ทำให้โมเดลขนาด 8 พันล้านพารามิเตอร์สามารถทำงานได้ระดับใกล้เคียงกับ Claude Opus 4.5 โดยลดต้นทุนและความซับซ้อนของการตั้งค่า harness แบบดั้งเดิม การปรับใช้เทคโนโลยีนี้อาจส่งผลต่อกระบวนการอัตโนมัติในหลายภาคส่วน ทั้งซอฟต์แวร์ วิศวกรรม และการเงิน.