โมเดลภาษาใหญ่มีอคติต่อญี่ปุ่นสูงกว่าเมื่อไม่มีการกำหนดประเทศ

Lead – งานวิจัยใหม่จากมหาวิทยาลัยบาสก์และคาร์ดิฟที่เผยแพร่ในเดือนเมษายน พบว่าโมเดลภาษาขนาดใหญ่ระดับแนวหน้าอย่าง Claude, Gemini และ DeepSeek มีแนวโน้มให้ข้อมูลเกี่ยวกับวัฒนธรรมญี่ปุ่นเป็นหลักแม้เมื่อไม่ได้รับการบังคับให้อ้างถึงประเทศใดโดยเฉพาะ การเปิดเผยนี้สำคัญต่อผู้พัฒนาและผู้ใช้ AI เนื่องจากความลำเอียงด้านภูมิภาคอาจส่งผลต่อคุณภาพของบริการในระดับโลก

Overview

การศึกษาได้มุ่งประเมิน “bias” ด้านวัฒนธรรมและภูมิภาคของโมเดลภาษา (LLM) ที่เป็นที่นิยมในตลาดปัจจุบัน โดยใช้ชุดคำถามเปิด‑ended จำนวน 31,680 ข้อ ครอบคลุม 24 ภาษาและ 66 หัวข้อย่อยทางวัฒนธรรม แบ่งออกเป็น 11 กลุ่มระดับสูง ผู้วิจัยอ้างว่าแบบสอบถามถูกออกแบบให้ไม่มีการชี้นำภูมิภาคใดโดยตรง เพื่อให้ผลลัพธ์สะท้อนความเชื่อมโยงที่โมเดลมีอยู่แล้ว

จากคำถามเหล่านี้ โมเดล 8 ตัวที่ได้รับการทดลอง ได้แก่ ChatGPT, Gemini, Claude, Meta Llama, Command‑r, Magistral, Qwen และ DeepSeek ได้รับมอบหมายให้เลือกประเทศหรือภูมิภาคเพื่อยกตัวอย่างในคำตอบ การทดสอบทำซ้ำหลายครั้งเพื่อความน่าเชื่อถือของผลลัพธ์

Methodology

ชุดคำถามถูกจัดรูปแบบตามเทมเพลตมาตรฐานเดียวกัน ทั้งหมดไม่มีการใส่คีย์เวิร์ดที่บ่งชี้ถึงประเทศใดเป็นพิเศษ ซึ่งทำให้ “bias” ที่ปรากฏต้องมาจากความรู้ภายในของโมเดลเอง ผู้วิจัยระบุว่า

• คำถามครอบคลุมหัวข้อเช่น ตำนานพื้นบ้าน, บทบาทของเพื่อนบ้าน, การศึกษา, ศิลปะการเต้นรำแบบดั้งเดิม และอาหารประจำวัน
• หลังจากตอบคำถามเบื้องต้น ผู้ใช้ระบบจะได้รับคำสั่งให้ระบุประเทศหรือภูมิภาคเพื่อยกตัวอย่างเพิ่มเติม

วิธีนี้ช่วยลดความแปรผันของ prompt ที่อาจทำให้ผลลัพธ์บิดเบือนและเน้นให้เห็นถึง “prior” ของโมเดลต่อข้อมูลทางวัฒนธรรมต่าง ๆ

Findings

ผลการทดลองเปิดเผยว่าเมื่อโมเดลต้องเลือกประเทศที่ไม่สอดคล้องกับภาษาที่ใช้ถาม (exogenous reference) จะมีการอ้างอิง ญี่ปุ่น อย่างโดดเด่น ผู้วิจัยบันทึกว่าร้อยละ 75 ของคำตอบที่ให้โดยโมเดล 8 ตัวนั้นเลือกญี่ปุ่นเป็นตัวอย่างหลัก

• ในส่วนของการอ้างอิงภายนอก ประเทศอันดับต้น ๆ หลังจากญี่ปุ่นคือ สหรัฐอเมริกา, อินเดีย, จีน และ ฝรั่งเศส
• เมื่อพิจารณาทุกหัวข้อ 11 ด้านวัฒนธรรม (ยกเว้นกรณีที่โมเดลตอบโดยอ้างถึงประเทศของภาษาที่ใช้) ญี่ปุ่นปรากฏใน 7 ด้านเป็นส่วนใหญ่

การสังเกตนี้แสดงให้เห็นว่าการกระจายภูมิภาคในการสร้างข้อความของ LLM ยังไม่สมดุลและมี “ศูนย์กลาง” ไปที่บางประเทศที่โดดเด่น

Instruction Tuning Impact

เพื่อสำรวจว่า “instruction tuning” (การปรับแต่งโมเดลหลังการฝึก) มีผลต่อความลำเอียงหรือไม่ ทีมวิจัยได้เปรียบเทียบคำตอบของ Meta Llama, Qwen, Gemma และ Mistral ก่อนและหลังขั้นตอนนี้

ก่อนทำ tuning โมเดลพื้นฐานให้การอ้างอิงที่หลากหลายกว่า โดยยังคงมีสหรัฐอเมริกาเป็นจุดเด่นแต่ก็กล่าวถึงญี่ปุ่น, อินเดีย, จีน และบางประเทศยุโรป ส่วนหลังจากการปรับแต่ง จะพบว่าการอ้างอิงมุ่งไปที่ สหรัฐอเมริกา และ ญี่ปุ่น อย่างชัดเจน ลดการกล่าวถึงประเทศอื่น ๆ ลงอย่างมีนัยสำคัญ

นักวิจัยสรุปว่า “Supervised Fine‑Tuning (SFT)” ทำให้ความลำเอียงต่อภูมิภาคเพิ่มสูงขึ้นโดยเฉพาะกับสองประเทศดังกล่าว และแม้จะมีขั้นตอน alignment เพิ่มเติม ความแตกต่างก็ยังลดลงเพียงเล็กน้อย

Implications

ผลการวิจัยบ่งชี้ว่าการปรับแต่งโมเดลเพื่อให้ตอบสนองต่อผู้ใช้ (instruction tuning) อาจทำให้ “ความหลากหลายทางวัฒนธรรม” ลดลง ส่งผลกระทบต่อแอปพลิเคชันที่ต้องการมุมมองจากหลายประเทศ เช่น ระบบสรุปข่าว, แปลภาษา หรือแพลตฟอร์มสนับสนุนการศึกษาในระดับโลก

ผู้พัฒนา AI ควรพิจารณาวิธีการคัดเลือกข้อมูลฝึกและกระบวนการตรวจสอบ bias อย่างละเอียด เพื่อไม่ให้โมเดลส่งเสริมภาพลักษณ์ของประเทศใดโดยเฉพาะ นอกจากนี้ ผู้กำหนดนโยบายอาจต้องกำหนดมาตรฐานการประเมินความเป็นกลางทางวัฒนธรรมก่อนเปิดตัวระบบ AI สาธารณะ

Summary

งานวิจัยเผยให้เห็นว่าโมเดลภาษาใหญ่ระดับแนวหน้ามีแนวโน้มให้ข้อมูลเกี่ยวกับญี่ปุ่นเป็นหลักเมื่อมีการอ้างอิงประเทศที่ไม่สอดคล้องกับภาษาถาม การปรับแต่งด้วย instruction tuning ทำให้ความหลากหลายทางวัฒนธรรมลดลงและเพิ่มความลำเอียงต่อสหรัฐอเมริกาและญี่ปุ่น ซึ่งเป็นประเด็นสำคัญสำหรับการพัฒนา AI ที่มีมุมมองรวมทั่วโลก.