AI Coding Agents เสี่ยงประสิทธิภาพจากไฟล์กำหนดค่า ‘smelly’

AI coding agents กำลังเป็นส่วนสำคัญของกระบวนการพัฒนาซอฟต์แวร์ แต่ไฟล์กำหนดค่าที่ใช้สั่งงานให้กับโมเดลเหล่านี้อาจมี “กลิ่น” (smell) ที่ทำให้ประสิทธิภาพลดลง งานวิจัยจากคณะวิทยาการคอมพิวเตอร์ มหาวิทยาลัยรัฐมินัสเจียร์ของบราซิลเปิดเผยว่ามีไฟล์กำหนดค่า Agents.md หรือ Claude.md ที่เต็มไปด้วยข้อบกพร่องโครงสร้างและคำสั่งที่ซ้ำซ้อน ทำให้โมเดลต้องใช้โทเคนเพิ่มและอาจทำงานผิดพลาดได้

Overview

AI coding agents เช่น Claude Code, Codex, Cursor และ Gemini ทำหน้าที่สร้างโค้ด ตรวจสอบทดสอบ แก้บั๊ก และจัดทำเอกสาร โดยอาศัยโมเดลภาษาใหญ่ (LLM) ร่วมกับ “harness” ที่บรรจุไฟล์กำหนดค่า Agents.md หรือ Claude.md ไว้เป็นคำแนะนำเบื้องต้นต่อโครงการ ไฟล์เหล่านี้จะถูกโหลดในตอนเริ่มเซสชันและคงอยู่ตลอดกระบวนการทำงาน

อย่างไรก็ตาม นักวิจัยพบว่าไฟล์กำหนดค่ามักเต็มไปด้วย “smells” ที่ทำให้โมเดลต้องประมวลผลข้อมูลที่ไม่จำเป็น ส่งผลให้ค่าใช้จ่ายด้านโทเคนสูงขึ้นและความแม่นยำของการตอบลดลง

Smell Types

การสำรวจ 100 โครงการโอเพนซอร์สที่มีไฟล์ Agents.md หรือ Claude.md พบว่ามีอย่างน้อยหนึ่ง “smell” ใน 91 % ของไฟล์ รายการ “กลิ่น” ที่พบบ่อยที่สุด 6 แบบมีดังนี้

Lint leakage – พบใน 62 % ของไฟล์
Context bloat – พบใน 42 % ของไฟล์
Skill leakage – พบใน 35 % ของไฟล์
Conflicting instructions – พบใน 28 % ของไฟล์
Init fossilization – พบใน 24 % ของไฟล์
Blind reference – พบใน 16 % ของไฟล์

Key Smells Explained

Lint leakage เกิดจากการใส่กฎรูปแบบโค้ดที่เครื่องมือ lint หรือ formatter ทำอยู่แล้วลงในไฟล์กำหนดค่า ทำให้โมเดลต้องประมวลผลข้อความซ้ำซ้อนและเสียโทเคนโดยไม่ให้ผลลัพธ์เพิ่มค่า

Context bloat หมายถึงไฟล์กำหนดค่ามีความยาวและรายละเอียดเกินความจำเป็น เช่น ตัวอย่างโค้ดหรือกฎที่ไม่เกี่ยวข้องกับงานปัจจุบัน ทำให้โมเดลต้องใช้พื้นที่บริบทมากขึ้น ส่งผลให้ค่าใช้จ่ายและเวลาตอบช้าลง

Skill leakage เกิดเมื่อคำสั่งเฉพาะงานหรือทักษะที่ใช้เพียงบางส่วนถูกรวมไว้ในไฟล์หลักแทนที่จะแยกเป็นไฟล์ย่อย ทำให้ข้อมูลที่ไม่ต้องการถูกดึงเข้าในทุกเซสชัน ลดประสิทธิภาพของโมเดล

Conflicting instructions คือการที่ไฟล์กำหนดค่ามีข้อบังคับที่ขัดแย้งกัน ทำให้โมเดลต้องเลือกทำตามข้อใดข้อหนึ่งโดยไม่มีเกณฑ์ชัดเจน ส่งผลให้ผลลัพธ์อาจไม่สอดคล้องหรือมีความไม่เสถียร

Init fossilization เกิดจากไฟล์กำหนดค่าที่สร้างครั้งแรกแล้วไม่มีการอัปเดต ทำให้กฎเก่าหรือที่ไม่เกี่ยวข้องกับโค้ดปัจจุบันยังคงอยู่ในไฟล์ ส่งผลให้โมเดลได้รับข้อมูลล้าสมัย

Blind reference คือการอ้างอิงไฟล์หรือเอกสารโดยไม่มีคำอธิบายว่ามีวัตถุประสงค์อะไร ทำให้เอเยนต์อาจละเลยหรือโหลดข้อมูลที่ไม่จำเป็น เพิ่มภาระบริบทโดยไม่มีประโยชน์

Impact on Coding Agents

เมื่อไฟล์กำหนดค่ามี smells เหล่านี้ โมเดลอาจตีความข้อกำหนดของโครงการผิดพลาด ตัวอย่างเช่น การที่มี lint leakage ทำให้โมเดลเสียโฟกัสจากข้อกำหนดด้านสถาปัตยกรรมหรือความปลอดภัยของระบบ นอกจากนี้ context bloat ทำให้ค่าใช้จ่ายด้านโทเคนเพิ่มขึ้นอย่างมีนัยสำคัญ ซึ่งเป็นปัญหาสำคัญสำหรับการใช้งานในระดับองค์กรที่ต้องควบคุมต้นทุน

การที่ skill leakage และ conflicting instructions ปรากฏพร้อมกันสามารถเพิ่มความเป็นไปได้ของ context bloat ได้ถึง 83 % เนื่องจากข้อมูลที่ซ้ำซ้อนและขัดแย้งทำให้โมเดลต้องประมวลผลข้อมูลที่ไม่จำเป็นมากขึ้น ทั้งนี้อาจทำให้ผลลัพธ์ของการสร้างโค้ดหรือการรีวิวมีความไม่สอดคล้องและต้องทำการแก้ไขซ้ำหลายรอบ

Mitigation Strategies

นักวิจัยเสนอวิธีลด smells ดังนี้

ลด lint leakage : ให้เครื่องมือ lint หรือ formatter จัดการเรื่องสไตล์โค้ดโดยตรง ไม่ต้องใส่คำสั่งซ้ำในไฟล์กำหนดค่า
ควบคุม context bloat : จำกัดความยาวของไฟล์ Claude.md หรือ Agents.md ให้ไม่เกิน 200 บรรทัด ตามคำแนะนำของ Anthropic เพื่อให้ข้อมูลที่สำคัญต่อโครงการเป็นหลัก
แยก skill leakage : เก็บคำสั่งเฉพาะงานลงในไฟล์ Markdown แยกตามฟังก์ชันและใช้ชื่อไฟล์ที่บ่งบอกชัดเจน เพื่อให้เอเยนต์โหลดเฉพาะเมื่อจำเป็น
ตรวจสอบและลบ conflicting instructions : ทำการรีวิวไฟล์กำหนดค่าเป็นระยะเพื่อขจัดคำสั่งที่ขัดแย้งหรือล้าสมัย
อัปเดต init fossilization : ปรับไฟล์กำหนดค่าให้สอดคล้องกับการเปลี่ยนแปลงของโค้ดเบสอย่างต่อเนื่อง เพื่อลดเสียงรบกวนจากกฎเก่า

การดำเนินการตามแนวทางเหล่านี้จะช่วยให้ AI coding agents ใช้โทเคนอย่างมีประสิทธิภาพมากขึ้นและลดความเสี่ยงต่อการทำงานผิดพลาด

Implications for Software Development

ผลการวิจัยชี้ให้เห็นว่าการจัดการไฟล์กำหนดค่าอย่างเป็นระบบเป็นส่วนสำคัญของการนำ AI coding agents ไปใช้ในกระบวนการพัฒนาซอฟต์แวร์ หากองค์กรละเลยการตรวจสอบ smells จะเสี่ยงต่อการเพิ่มค่าใช้จ่ายและลดคุณภาพของโค้ดที่สร้างโดย AI

ในระยะยาว การกำหนดมาตรฐานการเขียนไฟล์ Agents.md / Claude.md อย่างชัดเจนและการทำ automation เพื่อตรวจจับ smells อัตโนมัติอาจเป็นแนวทางที่ช่วยให้ทีมพัฒนาสามารถใช้ AI ได้อย่างปลอดภัยและคุ้มค่ามากขึ้น

Summary

การศึกษาเปิดเผยว่าไฟล์กำหนดค่าของ AI coding agents มี smells อย่างแพร่หลาย ซึ่งส่งผลให้โมเดลใช้โทเคนเพิ่มและอาจทำงานผิดพลาดได้ การจัดการและทำความสะอาดไฟล์เหล่านี้ตามแนวทางที่เสนอจะช่วยลดค่าใช้จ่ายและปรับปรุงประสิทธิภาพของเอเยนต์ในกระบวนการพัฒนาซอฟต์แวร์.