Google เปิด TabFM โมเดลตารางใหม่ทำนายโดยไม่ต้องฝึก per‑dataset

Google Research เปิดตัวโมเดลพื้นฐานใหม่ชื่อ TabFM ที่สามารถทำการทำนายจากตารางข้อมูลที่ไม่เคยเห็นมาก่อนได้โดยไม่ต้องฝึกแบบ per‑dataset — ลดขั้นตอนจากหลายสัปดาห์เหลือเพียงหนึ่งเรียก API

Overview

Google Research เสนอนวัตกรรมโมเดล TabFM (Table Foundation Model) ที่มองการทำนายตารางเป็นปัญหา “in‑context learning” แทนการฝึกโมเดลใหม่สำหรับแต่ละชุดข้อมูลแบบดั้งเดิม โมเดลนี้สามารถรับตัวอย่างประวัติและแถวเป้าหมายในรูปของ prompt แล้วให้ผลลัพธ์ภายในหนึ่งรอบการคำนวณ การทำงานเช่นนี้ช่วยลดระยะเวลาเตรียมระบบจากหลายสัปดาห์เป็นเพียงไม่กี่วินาทีสำหรับนักพัฒนาองค์กร

TabFM ถูกออกแบบมาเพื่อรองรับตารางที่มีแถวและคอลัมน์จำนวนมากโดยไม่ต้องทำการปรับจูนไฮเปอร์พารามิเตอร์หรือสร้าง pipeline การทำ feature engineering ใหม่ โมเดลนี้ยังสามารถทำงานผ่าน API ของ Google Cloud ทำให้ผู้ใช้สามารถรวมเข้ากับระบบธุรกิจได้อย่างรวดเร็ว

Challenges of Traditional Tabular ML

กระบวนการสร้างโมเดลแบบ gradient‑boosted tree เช่น XGBoost ต้องอาศัยขั้นตอนหลายชั้น ตั้งแต่การทำความสะอาดข้อมูล การเติมค่าที่หาย การแปลงตัวแปรเชิงหมวดเป็นตัวเลข ไปจนถึงการออกแบบ feature cross ที่ซับซ้อน นักวิจัย Weihao Kong ของ Google Research บรรยายต่อ VentureBeat ว่า “ต้องวนลูปค้นหาไฮเปอร์พารามิเตอร์หลายค่า เช่น learning rate, tree depth, subsampling ratio และ regularization grid” เพื่อให้ได้โมเดลที่ดีที่สุด

แม้จะผ่านขั้นตอนฝึกเสร็จแล้ว โมเดลยังคงต้องเฝ้าติดตาม data drift อย่างต่อเนื่องและเรียกกระบวนการ retraining เพื่อรักษาความแม่นยำ การทำเช่นนี้สร้าง “operational debt” ที่องค์กรต้องแบกรับเป็นภาระระยะยาว

Limitations of LLMs for Tables

โมเดลภาษาใหญ่ (LLM) เช่น GPT‑4 สามารถทำ zero‑shot inference กับข้อความและภาพได้ดี แต่เมื่อพยายามอ่านตารางโดยตรงกลับพบอุปสรรคหลายประการ ก่อนอื่น context window ของ LLM ถูกใช้จนเต็มเมื่อตารางมีจำนวนแถวหลายพันหรือคอลัมน์หลายร้อย ทำให้ไม่สามารถใส่ข้อมูลทั้งหมดลงไปได้

นอกจากนี้ การ tokenization ของค่าเชิงตัวเลขทำให้ความแม่นยำทางคณิตศาสตร์ลดลง และการแปลงตาราง 2‑มิติเป็นข้อความต่อเนื่องทำให้โมเดล “เสียโครงสร้าง” ไม่ทราบว่าค่าใดอยู่ในแถวหรือคอลัมน์ใด Kong จึงสรุปว่า “การใช้ LLM เพื่อเขียนโค้ดทำ feature engineering แล้วเรียก XGBoost ยังคงมีประสิทธิภาพกว่าให้ LLM อ่านตารางโดยตรง”

How TabFM Works

TabFM ใช้วิธีการจัดการข้อมูลแบบ grid‑preserving ซึ่งรักษาโครงสร้างของตารางไว้โดยไม่ต้องแปลงเป็นข้อความเชิงเส้น การทำ inference ไม่จำเป็นต้องอัปเดตน้ำหนักโมเดล เพียงส่งตัวอย่างฝึก (training rows) และแถวเป้าหมาย (target rows) เป็น prompt โมเดลจะเรียนรู้ความสัมพันธ์ระหว่างคอลัมน์และแถวจากบริบทนั้นโดยตรง

กระบวนการทำงานของ TabFM สังเกตได้จากสามกลไกหลัก:

• Alternating row and column attention – โมดูล attention ชั้นหลายระดับสลับการโฟกัสระหว่างคอลัมน์ (features) และแถว (examples) เพื่อจับความสัมพันธ์เชิงซ้อน
• Row compression – หลังจาก contextualization ข้อมูลของแต่ละแถวจะถูกบีบอัดเป็นเวกเตอร์หนาแน่นหนึ่งตัวโดยใช้ CLS token ตามที่ TabICL พัฒนาไว้
• **In‑context learning (ICL) – Transformer เชิง causal ทำงานบนลำดับเวกเตอร์แถวเหล่านี้ ลดภาระการคำนวณและทำให้โมเดลสามารถประมวลผลตารางขนาดใหญ่ได้อย่างมีประสิทธิภาพ

กลไกเหล่านี้ผสานข้อดีของ TabPFN (ความสามารถจัดประเภทแบบ zero‑shot บนตารางเล็ก) กับ TabICL (การบีบอัดแถวเพื่อรองรับข้อมูลจำนวนมาก)

Training & Evaluation

โมเดล TabFM ถูกฝึกโดยใช้ “synthetic datasets” จำนวนหลายร้อยล้านชุด ซึ่งสร้างขึ้นแบบไดนามิกจาก **structural causal models (SCMs) ที่รวมฟังก์ชันสุ่มหลากหลาย การฝึกบนข้อมูลสังเคราะห์ทำให้โมเดลได้เรียนรู้ priors ทางคณิตศาสตร์ของการโต้ตอบระหว่างฟีเจอร์โดยไม่ต้องเข้าถึงไฟล์ CSV ขององค์กรจริง ซึ่งอาจมีความเป็นส่วนตัวสูง

เพื่อประเมินผล Google Researchers ใช้ TabArena – ชุดทดสอบที่ประกอบด้วย 51 ตารางข้อมูลหลากหลายประเภท ผลการทดลองแสดงให้เห็นว่า TabFM สามารถทำ zero‑shot prediction ได้อย่างสม่ำเสมอบนตารางขนาดและโครงสร้างต่าง ๆ แม้ว่าจะไม่ได้เปิดเผยตัวเลขความแม่นยำโดยละเอียด แต่ผู้วิจัยระบุว่าประสิทธิภาพอยู่ในระดับที่เทียบได้หรือดีกว่าโมเดลแบบ XGBoost ที่ผ่านการปรับแต่งอย่างเต็มรูปแบบ

Implications for Enterprises

สำหรับองค์กรที่มีข้อมูลตารางเป็นหลัก เช่น ระบบคลังสินค้า CRM หรือบัญชี การนำ TabFM ไปใช้หมายถึงการลดความซับซ้อนของ pipeline อย่างมีนัยสำคัญ นักพัฒนาสามารถส่งข้อมูลใหม่ผ่าน API แล้วรับผลลัพธ์ทันทีโดยไม่ต้องสร้างกระบวนการทำ feature engineering หรือตั้งค่าการฝึกโมเดลใหม่เป็นประจำ

อย่างไรก็ตาม การใช้โมเดลที่ฝึกบนข้อมูลสังเคราะห์อาจต้องตรวจสอบว่าพฤติกรรมของโมเดลตรงกับความต้องการเฉพาะด้านธุรกิจหรือไม่ อีกทั้งองค์กรยังคงต้องดูแลเรื่อง data governance และความปลอดภัยเมื่อส่งข้อมูลผ่านคลาวด์ของ Google

โดยรวมแล้ว TabFM แสดงให้เห็นถึงแนวทางใหม่ในการประยุกต์ใช้เทคนิค transformer สำหรับงานตารางที่อาจเป็นจุดเปลี่ยนในอุตสาหกรรม AI บริการข้อมูล

Summary

Google Research เปิดตัว TabFM ซึ่งทำการทำนายจากตารางโดยไม่ต้องฝึกโมเดลต่อชุดข้อมูลใหม่ ลดขั้นตอนการพัฒนาให้เหลือเพียงการเรียก API หนึ่งครั้ง โมเดลนี้อาศัยกลไก alternating attention, row compression และ in‑context learning พร้อมฝึกบน synthetic datasets จำนวนมหาศาล ทำให้สามารถทำ zero‑shot prediction บนตารางหลากหลายประเภทได้อย่างมีประสิทธิภาพ.