ทดลองทำให้ NotebookLM สร้างข้อมูลหลอกลวง ผลลัพธ์ยังน่าประทับใจ

NotebookLM ของ Google กลายเป็นเครื่องมือที่นักเทคโนโลยีให้ความสนใจอย่างต่อเนื่อง ไม่ได้มาจากการโฆษณาแรง ๆ แต่จากแนวคิดที่ตอบโจทย์การสังเคราะห์ข้อมูลจากหลายแหล่งให้เป็นหนึ่งเดียว ผู้เขียนได้ใช้บ่ายหนึ่งในการทดสอบความแม่นยำของระบบโดยพยายามทำให้เกิด “hallucination” หรือผลลัพธ์ที่บิดเบือน และพบว่าผลลัพธ์ยังคงอยู่ในระดับที่น่าประทับใจ

Overview

NotebookLM ถูกออกแบบมาเพื่อแก้ไขปัญหาที่ผู้ใช้หลายคนเผชิญ คือการต้องค้นหาและเชื่อมโยงข้อมูลจากเอกสารหลายไฟล์หรือหลายแหล่งข้อมูลที่แตกต่างกัน การทำเช่นนี้โดยมือเปล่าต้องใช้เวลาและความพยายามอย่างมาก บล็อกของ Google ที่เปิดตัว NotebookLM ระบุว่าผู้ใช้สามารถอัปโหลดไฟล์ PDF, เอกสาร Google Docs, หรือแม้แต่บันทึกการสนทนาต่าง ๆ แล้วให้ระบบสรุปและตอบคำถามโดยอัตโนมัติ

ระบบทำงานบนพื้นฐานของโมเดลภาษา Gemini ซึ่งเป็นรุ่นต่อเนื่องของ Google AI โมเดลนี้ได้รับการฝึกด้วยข้อมูลมหาศาลและได้รับการปรับแต่งให้สามารถทำความเข้าใจโครงสร้างของเอกสารได้อย่างละเอียด การสังเคราะห์ข้อมูลจึงไม่ใช่แค่การคัดลอกข้อความ แต่เป็นการสร้างสรุปที่เชื่อมโยงแนวคิดและข้อเท็จจริงจากหลายแหล่งเข้าด้วยกัน

การเปิดตัวครั้งแรกของ NotebookLM มีให้บริการในรูปแบบ early access แก่ผู้ใช้ที่ลงทะเบียนล่วงหน้า ซึ่งเป็นเหตุผลที่ทำให้เครื่องมือนี้ยังคงเป็นหัวข้อที่ถูกพูดถึงบ่อยในชุมชนผู้พัฒนาและผู้สนใจ AI

How NotebookLM Works

NotebookLM ทำงานโดยรับข้อมูลจากไฟล์ที่อัปโหลดแล้วทำการ embedding เพื่อแปลงข้อความเป็นเวกเตอร์ที่ระบบสามารถเปรียบเทียบและค้นหาได้อย่างรวดเร็ว หลังจากนั้นเมื่อผู้ใช้ป้อนคำถาม ระบบจะค้นหาเวกเตอร์ที่เกี่ยวข้องที่สุดแล้วใช้โมเดล Gemini สร้างข้อความตอบกลับที่สอดคล้องกับข้อมูลต้นทาง

ขั้นตอนการอัปโหลดและจัดการไฟล์นั้นค่อนข้างเป็นมิตรกับผู้ใช้ ผู้ใช้สามารถสร้าง “notebook” ใหม่แล้วลากไฟล์เข้าไป ระบบจะทำการจัดประเภทอัตโนมัติและแสดงสถานะการประมวลผล ผู้ใช้ยังสามารถเพิ่มโน้ตส่วนตัวหรือทำเครื่องหมายไฟล์สำคัญเพื่อให้ระบบให้ความสำคัญสูงสุดในการตอบคำถาม

ความสามารถพิเศษของ NotebookLM คือ การอ้างอิงแหล่งข้อมูล เมื่อให้คำตอบ ระบบจะแสดงลิงก์หรืออ้างอิงไปยังไฟล์ต้นฉบับที่ข้อมูลนั้นมาจาก ซึ่งช่วยให้ผู้ใช้ตรวจสอบความถูกต้องได้โดยตรง การออกแบบนี้ตั้งใจลดความเสี่ยงจากการที่ AI สร้างข้อมูลที่ไม่มีแหล่งอ้างอิงชัดเจน

Experiment: Trying to Induce Hallucination

เพื่อประเมินขอบเขตความแม่นยำของ NotebookLM ผู้เขียนได้วางแผนการทดสอบโดยใช้ prompt ที่ออกแบบให้ระบบอาจสร้างข้อมูลที่ไม่สอดคล้องกับเอกสารจริง การทดลองทำในขั้นตอนต่อไปนี้

• เลือกไฟล์ที่มีข้อมูลเชิงประวัติศาสตร์และเทคโนโลยีที่เป็นที่รู้จัก
• ป้อนคำถามที่อาจกระตุ้นให้ระบบคาดเดาข้อมูลที่ไม่มีอยู่จริง (เช่น “ใครเป็นผู้ประดิษฐ์เทคโนโลยี X ในปี 1990?”)
• ป้อนคำถามที่ขัดแย้งกับข้อมูลในไฟล์เพื่อดูว่าระบบจะเลือกข้อมูลใดเป็นหลัก

ผลลัพธ์ที่ได้แสดงให้เห็นว่า NotebookLM สามารถระบุความขัดแย้งได้ในหลายกรณีและมักจะอ้างอิงกลับไปยังไฟล์ต้นทางเพื่อชี้แจงความไม่แน่นอน อย่างไรก็ตาม ในบางคำถามที่ซับซ้อน ระบบยังคงให้คำตอบที่มีลักษณะ “ครึ่งจริงครึ่งเท็จ” ซึ่งผู้ใช้ต้องตรวจสอบเพิ่มเติม

การทดสอบยังพบว่าเมื่อข้อมูลในไฟล์มีความละเอียดสูงและมีหลายแหล่งอ้างอิง ระบบจะมีความแม่นยำมากขึ้น เนื่องจากมีข้อมูลให้เปรียบเทียบหลายจุด ซึ่งสอดคล้องกับจุดประสงค์หลักของ NotebookLM ที่ต้องการลดความลำบากในการสังเคราะห์ข้อมูล

Findings and Limitations

จากการทดลองพบว่า NotebookLM มีความสามารถในการสังเคราะห์ข้อมูลอย่างรวดเร็วและให้การอ้างอิงที่ชัดเจน ซึ่งเป็นประโยชน์ต่อผู้ใช้ที่ต้องทำงานวิจัยหรือจัดทำรายงาน อย่างไรก็ตาม ระบบยังคงมีข้อจำกัดในเรื่องของการจัดการกับข้อมูลที่ขัดแย้งหรือข้อมูลที่ไม่มีแหล่งอ้างอิงชัดเจน

หนึ่งในข้อสังเกตที่สำคัญคือระบบมักจะ “เลือก” แหล่งข้อมูลที่มีความเชื่อมโยงสูงสุดตามเวกเตอร์ แม้ว่าข้อมูลนั้นอาจจะไม่ใช่คำตอบที่ถูกต้องที่สุด การอ้างอิงที่แสดงให้ผู้ใช้ดูอาจทำให้เกิดความเชื่อมั่นเกินจริงในบางกรณี

อีกประเด็นคือการทำงานของระบบยังคงขึ้นกับ คุณภาพของไฟล์ต้นทาง หากไฟล์มีข้อความสแกนที่ไม่ชัดเจนหรือมีรูปแบบที่ระบบไม่รองรับ การสรุปอาจมีความคลาดเคลื่อนมากขึ้น การจัดการกับไฟล์รูปแบบต่าง ๆ จึงเป็นส่วนที่ต้องพัฒนาต่อไป

Potential Impact on Knowledge Work

NotebookLM มีศักยภาพที่จะเปลี่ยนแปลงวิธีการทำงานของผู้เชี่ยวชาญในหลายสาขา ไม่ว่าจะเป็นนักวิจัย นักการตลาด หรือผู้จัดการโครงการ การที่ระบบสามารถดึงข้อมูลจากหลายเอกสารและสร้างสรุปได้ภายในเวลาไม่กี่วินาที จะช่วยลดเวลาในการค้นคว้าและเพิ่มประสิทธิภาพของการตัดสินใจ

ในแง่ขององค์กร NotebookLM สามารถทำหน้าที่เป็น “ศูนย์ข้อมูลภายใน” ที่อัปเดตอัตโนมัติเมื่อมีการอัปโหลดเอกสารใหม่ ทำให้พนักงานทุกระดับสามารถเข้าถึงข้อมูลที่เป็นปัจจุบันได้อย่างง่ายดาย อย่างไรก็ตาม ผู้จัดการและผู้บริหารต้องตระหนักถึงความเสี่ยงจากข้อมูลที่อาจบิดเบือนและต้องมีขั้นตอนตรวจสอบคุณภาพอย่างเป็นระบบ

การพัฒนาเครื่องมือเช่น NotebookLM ยังส่งสัญญาณให้ตลาด AI เริ่มเน้นไปที่การ ทำงานร่วมกับข้อมูลองค์กร มากกว่าการสร้างข้อความอิสระ ซึ่งอาจกระตุ้นให้ผู้ให้บริการคลาวด์และผู้พัฒนาแอปพลิเคชันเพิ่มฟีเจอร์การบูรณาการข้อมูลเชิงลึกในอนาคต

Summary

NotebookLM ของ Google แสดงให้เห็นถึงความก้าวหน้าของ AI ที่สามารถสังเคราะห์ข้อมูลจากหลายแหล่งและให้การอ้างอิงที่ตรวจสอบได้ แม้ว่าจะยังมีข้อจำกัดในกรณีข้อมูลขัดแย้งหรือไฟล์คุณภาพต่ำ การทดสอบการทำให้ระบบ “hallucinate” แสดงให้เห็นว่ามันยังคงรักษาความแม่นยำในระดับที่น่าพอใจและอาจเป็นเครื่องมือสำคัญสำหรับการทำงานเชิงความรู้ในยุคดิจิทัล.