Anthropic ปล่อย tokenizer ใหม่ใน Sonnet 5 ทำให้ค่าใช้จ่าย AI สูงขึ้น

Claude ของ Anthropic เพิ่งเปิดตัว tokenizer ใหม่ในรุ่น Sonnet 5 ทำให้จำนวน token ที่ใช้ต่อข้อความเพิ่มขึ้นอย่างมีนัยสำคัญเมื่อเทียบกับโมเดลของ OpenAI รุ่น GPT‑5.x โดยตรง การเปลี่ยนแปลงนี้ทำให้การคำนวณค่าใช้จ่ายสำหรับงาน AI ยากขึ้นและอาจนำไปสู่บิลที่สูงกว่าที่ผู้ใช้งานคาดการณ์ไว้

Overview

โมเดลภาษาใหญ่ (LLM) ใช้ tokenizer แปลงข้อความเป็น token ก่อนส่งให้โมเดลประมวลผล โดยทั่วไปหนึ่ง token จะเทียบเท่ากับอักขระ 3‑4 ตัวและกลายเป็นหน่วยพื้นฐานสำหรับการเรียกเก็บค่าใช้จ่ายของบริการ AI ตามรายงานของ The Register การที่แต่ละโมเดลมีวิธีแบ่งคำต่างกัน ทำให้ผู้ใช้งานต้องคำนวณค่าใช้จ่ายอย่างละเอียดเพื่อหลีกเลี่ยงความไม่แน่นอนในการคิดค่าบริการ

Anthropic ยืนยันว่า tokenizer ใหม่ของ Sonnet 5 ถูกออกแบบมาเพื่อ ปรับปรุงประสิทธิภาพ ของโมเดล แม้จะทำให้จำนวน token ที่ได้จากข้อความเดียวกันเพิ่มขึ้นระหว่าง 1.0‑1.35 เท่า ขึ้นอยู่กับประเภทของเนื้อหา การเปลี่ยนแปลงนี้คล้ายกับที่เกิดขึ้นเมื่อ Claude Opus 4.7 ได้รับการอัปเดต tokenizer ในรุ่นก่อนหน้า

New Tokenizer Details

ตามคำชี้แจงของ Anthropic “Sonnet 5 เป็นการอัพเกรดจาก Sonnet 4.6 แต่ใช้ tokenizer ที่ปรับปรุงใหม่ ซึ่งทำให้การแมพข้อความกับ token มีจำนวนมากขึ้น” การเปลี่ยนแปลงนี้ไม่ได้ส่งผลต่อคุณภาพผลลัพธ์โดยตรง แต่เป็น การแลกเปลี่ยนระหว่างประสิทธิภาพและต้นทุน ของการใช้งาน

Anthropic ได้กำหนดอัตราค่าใช้จ่ายสำหรับ Sonnet 5 ที่ $2 ต่อ ล้าน token อินพุต และ $10 ต่อ ล้าน token เอาต์พุต จนถึงวันที่ 31 สิงหาคม 2026 เพื่อทำให้ผลกระทบจากการเพิ่มจำนวน token ค่อนข้างเป็นกลางทางด้านต้นทุน หลังจากวันนั้นอัตราจะปรับเป็น $3/$15 ต่อ ล้าน token ตามที่บริษัทระบุ

Cost Implications

แม้ราคาใหม่จะถูกตั้งให้อยู่ในระดับเดียวกับเก่า แต่เมื่อเทียบกับ GPT‑5.x ที่ใช้ tokenizer 200k token model ผู้ใช้งาน Anthropic อาจต้องเผชิญบิลที่สูงขึ้นถึงหนึ่งในสามจากการเพิ่ม token ในแต่ละคำสั่ง

Playcode วิเคราะห์ผลกระทบของ tokenizer ใหม่และพบว่าไฟล์ TypeScript ขนาด 2,888 ตัวอักษร ถูกแปลงเป็น token มากกว่า GPT‑5.x ถึง 1.73 เท่า และมากกว่า tokenizer เก่าของ Claude ถึง 1.32 เท่า ซึ่งหมายความว่าต้นทุนต่อการประมวลผลอาจเพิ่มขึ้นอย่างมีนัยสำคัญหากไม่มีการปรับราคาให้สอดคล้อง

Comparative Analysis

Playcode นำเสนอข้อมูลเปรียบเทียบจำนวน token ที่เกิดจากภาษาโปรแกรมต่าง ๆ เมื่อใช้ tokenizer ใหม่ของ Anthropic:

• Rust : 1.58× มากกว่า GPT‑5.x
• JavaScript : 1.52× มากกว่า GPT‑5.x
• Python : 1.50× มากกว่า GPT‑5.x

หากปรับราคาให้เทียบเคียงกับฐานค่าใช้จ่ายของ OpenAI, Opus 4.8 จะมีอัตรา $7.50/M อินพุต และ $37.50/M เอาต์พุต แทนที่ตัวเลขประกาศเดิมคือ $5/$25 ตามการคำนวณของ Playcode

กรณีศึกษาจากแพลตฟอร์ม Ploy ที่ทำการย้ายระบบไปใช้ GPT‑5.6 Sol พบว่า “GPT‑5.6 ทำงานเร็วกว่า 2.2 เท่า, ค่าใช้จ่ายต่ำลง 27 % และใช้ token เอาต์พุตเพียงครึ่งหนึ่ง” เมื่อเทียบกับ Anthropic Opus 4.8 ซึ่งยืนยันว่าความแตกต่างของ tokenizer มีผลโดยตรงต่อประสิทธิภาพและต้นทุน

Industry Impact

การเปลี่ยนแปลงนี้ทำให้ นักพัฒนา AI จำเป็นต้องปรับกลยุทธ์ในการเลือกโมเดลและคำนวณค่าใช้จ่ายอย่างรอบคอบ โดยเฉพาะผู้ที่สร้างแอปพลิเคชันบนแพลตฟอร์มเช่น Playcode หรือ Ploy ต้องตรวจสอบผลกระทบของ token inflation ต่อ งบประมาณโครงการ

นอกจากนี้ ผู้ให้บริการคลาวด์และบริษัทเทคโนโลยีอื่น ๆ ที่พึ่งพาโมเดล LLM อาจต้องปรับแผนการกำหนดราคาเพื่อรักษาความสามารถในการแข่งขัน เนื่องจากลูกค้าจะเริ่มมองหาตัวเลือกที่ ค่าใช้จ่ายต่อ token ต่ำกว่า หรือมีประสิทธิภาพสูงกว่าในเชิงต้นทุน‑ผลผลิต

Summary

Anthropic เปิดตัว tokenizer ใหม่ใน Sonnet 5 ทำให้จำนวน token ที่ใช้เพิ่มขึ้นถึง 73 % เมื่อเทียบกับ GPT‑5.x ส่งผลให้การคำนวณค่าใช้จ่ายของโมเดล AI ซับซ้อนยิ่งขึ้น ผู้ใช้งานและผู้ให้บริการต้องพิจารณาอย่างละเอียดเพื่อจัดการต้นทุนในสภาพแวดล้อมที่เปลี่ยนแปลงเร็ว.