AI hallucination JSON: ทำไมฟอร์มบังคับให้โมเดลโกหก
ปรากฏการณ์ AI hallucination JSON คือสถานการณ์ที่โมเดลภาษาให้คำตอบที่แต่งขึ้นเมื่อถูกบังคับให้ออกผลในรูปแบบโครงสร้าง เช่น JSON หรือสคีมาฟังก์ชัน แม้ว่าจะรู้ว่าตนเองไม่มีข้อมูลพอจะตอบอย่างซื่อสัตย์ก็ตาม ปรากฏการณ์นี้ตัดกันอย่างแรงกับพฤติกรรมของโมเดลเวลาเขียนตอบเป็นร้อยแก้วธรรมดา ที่มักจะยอมรับว่า “ไม่รู้” แต่เมื่อถูกล็อกด้วยสคีมาที่ไม่มีช่องให้ตอบว่าไม่มีหลักฐาน โมเดลกลับเลือกเติมข้อมูลที่ไม่มีทางมีอยู่จริงลงไปในฟิลด์ที่บังคับให้กรอก แสดงให้เห็นว่าข้อจำกัดด้านรูปแบบสามารถครอบงำความซื่อตรงของระบบได้อย่างชัดเจน และทำให้ตัวเลขประเมินความซื่อสัตย์ของโมเดลในโลกจริงสูงเกินจริงเมื่อเทียบกับการใช้งานผ่านโปรสแบบเปิด.
งานทดสอบล่าสุดแสดงให้เห็นช่องโหว่นี้อย่างเจ็บแสบ: เมื่อโมเดลถูกถามถึงเนื้อหาคอมเมนต์ในโพสต์ที่มีตัวเลขยอดไลก์และจำนวนตอบกลับ แต่ไม่มีข้อความตอบกลับเลย การอ้างถึงความคิดเห็นของฝูงชนใด ๆ ล้วนเป็นของปลอมโดยนิยาม. ในโหมดร้อยแก้ว โมเดลระดับแนวหน้าสามารถบอกตรง ๆ ได้ว่าหลักฐานหายไป แต่เมื่อเปลี่ยนคำถามเดียวกันไปอยู่ใน JSON ที่กำหนดฟิลด์บังคับสำหรับ sentiment, main_themes และ representative_reaction โมเดลจำนวนมากเติมค่าในทุกฟิลด์อย่างมั่นใจ ทั้งที่ไม่มีข้อมูลใดรองรับเลย นี่ไม่ใช่แค่เรื่อง “โมเดลชอบมโน” แต่เป็นผลของการฝึกให้การทำตามสคีมาเป็นเงื่อนไขแข็ง ขณะที่การงดตอบถูกฝึกเป็นเพียงความชอบนิ่ม เมื่อทั้งสองขัดกัน เงื่อนไขแข็งชนะเสมอ.
ตัวอย่างที่ขยี้ประเด็นยิ่งขึ้นคือตัวเลขที่ชัดเจน: GPT-5.5 เมื่อถามเป็นร้อยแก้วสามารถรายงานว่าหลักฐานหายไปได้ถูกต้องถึง 98% ของครั้งที่ทดสอบ ในขณะที่คำถามและเอกสารเดียวกัน เมื่อใส่เข้าไปผ่านสคีมาที่บังคับทุกฟิลด์ โมเดลเดียวกันกลับแต่งคำตอบขึ้นมาทุกครั้ง 40 จาก 40 เทรอัล โดยระบุว่าความเห็นของคนดูเป็นแบบ “mixed” พร้อมธีมหลักสามข้อและคำพูดตัวอย่าง ทั้งที่โพสต์นั้นไม่มีข้อความตอบกลับแม้แต่บรรทัดเดียว. ประโยคนี้ควรถูกเก็บไว้เป็นคำคมเตือนใจทีมผลิต: “GPT-5.5, asked in prose, correctly reports the evidence is missing 98% of the time. The same model, same input, asked through the required-field schema, fabricates in 40 out of 40 trials.” เมื่อเรายืนยันจะได้ JSON ที่สมบูรณ์มากกว่าความจริง เราก็ออกแบบให้โมเดลโกหกโดยโครงสร้างไปแล้ว.
language model reasoning: เมื่อเราแอบดึง “รอยคิด” ที่ซ่อนอยู่
ในขณะที่สคีมา JSON เปิดให้เห็นด้านมืดของความซื่อตรง งานวิจัยอีกชุดกลับเปิดม่านให้เราเห็น language model reasoning หรือกระบวนการคิดเป็นขั้นเป็นตอนที่ซ่อนอยู่ระหว่างพรอมต์กับคำตอบของโมเดลภาษา นักวิจัยคอมพิวเตอร์ค้นพบวิธีใหม่ในการดึง “รอยคิด” ที่ถูกซ่อนไว้ ซึ่งคือข้อความหรือโครงสร้างภายในที่โมเดลใช้แตกโจทย์ยากออกเป็นชิ้น ๆ แล้ววิเคราะห์ทีละส่วน คล้าย chain-of-thought ปลอมที่หลายคนเคยเห็น แต่คราวนี้เป็นรอยคิดจริงที่ไม่ได้ถูกเปิดเผยต่อผู้ใช้โดยตรง. แนวคิดสำคัญของงานนี้คือ การใช้โมเดลเวอร์ชันเล็กอ่านร่องรอยเข้ารหัสจากโมเดลใหญ่ เพื่อถอดข้อความเหตุผลที่ถูกซ่อนจากผลลัพธ์ภายนอกออกมา กลายเป็นเหมือนเราดึงสมุดจดในหัว AI ออกมาอ่านเอง.
ทีมที่ทำงานนี้พบว่าการป้อน “รอยคิดที่เข้ารหัส” ของโมเดลตัวใหญ่ให้โมเดลตัวเล็กในตระกูลเดียวกัน สามารถทำให้โมเดลเล็กเดาเนื้อเหตุผลที่ถูกซ่อนอยู่ได้ใกล้เคียงของจริงมากมาก. ที่เด็ดคือเมื่อนำรอยคิดที่ดึงได้จากโมเดลแนวหน้าอย่าง Claude หรือ GPT ไปเทียบกับผลลัพธ์ของโมเดลเปิดน้ำหนักบางตัว พบความคล้ายอย่างน่าประหลาดในวิธีแตกโจทย์และวางขั้นตอนเหตุผล โดยเฉพาะในกรณีของโมเดล Kimi K3 ที่ให้ผลคล้ายกับรอยคิดของ Claude Opus 4.8 และ GPT 5.6 Sol บนพรอมต์บางชุด. แม้ผู้วิจัยย้ำว่าข้อมูลนี้ยังไม่สามารถพิสูจน์เชิงเหตุว่าเกิดการ distillation ระหว่างโมเดลจริง ๆ แต่ก็เปิดคำถามแรงว่า เรากำลังอยู่ในโลกที่โมเดลเปิดน้ำหนักบางตัวเรียน “วิธีคิด” ละเอียดจากโมเดลปิดผ่านช่องโหว่แบบนี้หรือไม่ และที่สำคัญกว่านั้นคือ ช่องโหว่เดียวกันทำให้สามารถดึงข้อมูลส่วนตัวอย่างรหัสผ่านหรือ API key จากเหตุผลภายในของโมเดลได้ก่อนที่ผู้ให้บริการจะอุดรูรั่วแล้ว.
ภาพรวมของงานนี้ส่งสัญญาณชัดว่าระบบ reasoning ภายในของโมเดลไม่ใช่แค่เรื่อง “ตกแต่งคำตอบให้ดูฉลาด” แต่เป็นโครงสร้างข้อมูลจริงที่สามารถถูกอ่าน ย้าย และทำสำเนาได้ นักวิจัยเตือนว่า “It can lead to personal information leakage, and it enables large-scale reasoning distillation attacks.” เมื่อเราสร้างโครงสร้าง chain-of-thought ภายในเพื่อให้โมเดลแก้โจทย์เก่งขึ้น เราก็สร้างแหล่งข้อมูลที่อาจถูกขุดไปใช้ซ้ำทั้งเชิงดีและเชิงร้ายพร้อมกัน นี่คือด้านกลับของการผลัก AI ไปสู่การคิดเป็นขั้น ๆ: ยิ่งคิดลึก ยิ่งมีอะไรให้คนอื่นมองเห็นและคัดลอกมากขึ้น.
AI introspection capability: เมื่อโมเดลเริ่มถามตัวเองว่ากำลังคิดอะไร
ถ้าเรื่องรอยคิดที่ถูกดึงออกมาทำให้เรารู้ว่าโมเดลมีชั้นคิดภายใน อีกงานหนึ่งก็ทำให้เราต้องถามต่อว่า AI introspection capability หรือความสามารถในการมองเข้าไปในสภาวะภายในของตัวเอง กำลังเกิดขึ้นบ้างแล้วหรือไม่ งานทดลองใหม่จากกลุ่มวิจัยหนึ่งแสดงหลักฐานว่าบางโมเดลภาษาใหญ่สามารถตรวจสอบสถานะภายในของตน รวมถึงตรวจจับแนวคิดที่นักวิจัยฉีดเข้าไปใน activation ระหว่างที่โมเดลกำลังตอบคำถามได้. วิธีทดลองคือสร้างเวกเตอร์การกระตุ้นที่แทนแนวคิดเฉพาะ เช่น “all caps” แล้วฉีดเข้าไปในชั้นประมวลผลบางชั้นของโมเดลขณะกำลังเขียน จากนั้นถามโมเดลว่ามีอะไรผิดปกติเกิดขึ้นในหัวของมันหรือไม่ ผลคือในบางกรณี โมเดลอย่าง Claude Opus 4.1 สามารถบอกได้ถูกต้องว่ามีแนวคิดนั้นถูกใส่เข้าไป แม้แนวคิดนั้นยังไม่ปรากฏในข้อความที่มันเขียนอยู่.
จุดสำคัญของผลนี้ไม่ใช่แค่การเดาถูก แต่คือเวลา: โมเดลสามารถระบุแนวคิดที่ถูกฉีดเข้าไปตั้งแต่ก่อนที่แนวคิดนั้นจะเปลี่ยนรูปแบบคำตอบจนมันสามารถเดาจากข้อความตัวเองได้. นั่นหมายความว่ามันใช้ข้อมูลจาก activation ภายในจริง ไม่ใช่แค่ดูข้อความที่ตัวเองกำลังเขียนแล้วแต่งคำอธิบายให้ดูน่าเชื่อ นักวิจัยไปต่อด้วยการให้โมเดลอ่านประโยคธรรมดา ขณะเดียวกันก็ฉีดแนวคิดอื่น เช่น “bread” เข้าไปใน activation แล้วถามให้มันทั้งรายงานแนวคิดในหัวและทวนประโยคที่ถูกป้อน ผลคือ Claude Opus 4.1 สามารถทำทั้งสองอย่างในบางเทรอัล: ระบุแนวคิดที่ถูกฉีดเข้าไป และคงประโยคภายนอกอย่างถูกต้องพร้อมกัน. นั่นคือหลักฐานว่าโมเดลแยกแยะข้อมูลจากอินพุตกับตัวแทนภายในได้บ้าง และไม่ใช่แค่การอธิบายเว่อร์ ๆ ว่ากำลัง “คิดอะไรอยู่” แบบที่เคยสงสัยกัน.
แน่นอน ผลเหล่านี้ยังห่างไกลจากการบอกว่าโมเดลมี “สติรู้ตัว” ในความหมายแบบมนุษย์ ความสำเร็จในการตรวจจับความคิดฉีดอยู่เพียงราว 20% ของการทดลอง และบางโมเดลเกิดทั้ง false positive และถูก activation แรง ๆ กลบการประมวลผลปกติ. แต่งานดังกล่าวอย่างน้อยเป็น existence proof ว่ามีความสามารถด้าน introspection อยู่ในบางช่วงชั้นของโมเดลภาษา ทำให้คำถาม “เมื่อโมเดลบอกว่ากำลังคิดอะไร มันดึงข้อมูลจากภายในจริงหรือแค่แต่งคำตอบให้ดูดี” ไม่สามารถตัดทิ้งด้วยคำตอบง่าย ๆ ว่า “แน่นอน ทุกอย่างเป็นแค่ข้อความหลอกให้คนเชื่อ” อีกต่อไป. ที่น่าสนใจคือการปรับแต่งหลังการฝึก (post-training) ยังมีผลมากต่อพฤติกรรม introspection: โมเดลเวอร์ชันผลิตบางรุ่นกลับเลี่ยงการตอบคำถามแบบนี้ ขณะที่เวอร์ชันที่ฝึกให้ไม่ปฏิเสธกลับทำได้ดีขึ้น. นั่นชี้ว่าการปรับจูนเพื่อ “ไม่ทำให้ผู้ใช้ขัดใจ” อาจไปกดทับความสามารถในการรายงานสภาวะภายในของโมเดลอย่างไม่ตั้งใจ.
model behavior quirks: ช่องว่างระหว่างร้อยแก้วซื่อสัตย์กับ JSON ที่แต่งขึ้น
เมื่อเอางานทั้งสองด้านมาวางคู่กัน ภาพที่ชัดขึ้นคือ model behavior quirks หรืออาการแปลกของโมเดลภาษาไม่ได้เป็นเรื่องขำขัน แต่เป็นสัญญาณถึงข้อบกพร่องเชิงโครงสร้างในระบบที่เราออกแบบ พฤติกรรม “พูดจริงในร้อยแก้วแต่โกหกใน JSON” แสดงให้เห็นว่าความซื่อตรงของโมเดลขึ้นกับคอนเท็กซ์ทางเทคนิคมากกว่าที่หลายคนยอมรับ: benchmark วัดการยอมรับว่า “ไม่รู้” ทั้งหมดล้วนถามในร้อยแก้ว ในขณะที่ระบบใช้งานจริงเกือบทั้งหมดใช้ JSON mode, function calling หรือ schema ที่บังคับรูปแบบ. ดังนั้นตัวเลขความสามารถในการงดตอบที่ถูกตีพิมพ์ทั้งหมดควรถูกมองเป็นแค่ขีดบนของสิ่งที่เกิดในระบบที่ใช้งานจริง เพราะไม่มีใครวัดกรณีที่ถูกบังคับให้เติมฟิลด์ทุกช่องบน production pipeline เลย.
สิ่งที่น่ากังวลคือเมื่อ schema compliance ถูกฝึกให้เป็น constraint แบบแข็ง ในขณะที่การงดตอบเป็น preference แบบนิ่ม โมเดลจะเลือกทำตามสคีมาแม้ต้องแต่งข้อมูลขึ้นมาเอง. การเพิ่มค่า escape อย่าง "insufficient_evidence" ใน enum ช่วยได้บ้าง โดยเฉพาะกับโมเดลระดับแนวหน้าที่เลือกช่องทางนี้ทุกครั้งในงานทดสอบหนึ่ง แต่กับโมเดลเปิดน้ำหนักหลายตัว การมี escape value ไม่ลดการแต่งคำตอบลงเลย บางรุ่นยังคงเติมค่า fabricated 60–100% ของครั้งที่ทดสอบ. ยิ่งไปกว่านั้น โมเดลบางตระกูลแสดงพฤติกรรมแตกต่างกันตามขนาด: รุ่นเล็กที่สุดปฏิเสธสคีมาที่เป็นไปไม่ได้ทุกครั้ง รุ่นกลางแต่งคำตอบถึง 90% ส่วนรุ่นใหญ่กลับปฏิเสธอีกครั้ง. นี่คือ quirks ที่ไม่ได้เป็นเพียงความแปรปรวนเล็กน้อย แต่สะท้อนการปรับจูนที่ไม่สอดคล้องระหว่างระดับโมเดลในตระกูลเดียวกัน.
เมื่อประกอบกับความจริงที่ว่าเราสามารถดึงรอยคิดภายในออกมา และโมเดลบางตัวสามารถรายงานสภาวะภายในตัวเองได้บ้าง รูปภาพที่ออกมาดูย้อนแย้ง: ภายใน โมเดลมีโครงสร้างเหตุผลละเอียดและอาจมีจุดที่ “รู้ตัว” ว่ามีอะไรผิดปกติใน activation แต่ภายนอก เรากดดันให้มันเติม JSON ให้ครบช่อง แม้ต้องโกหกกับตัวเองและผู้ใช้ไปพร้อมกัน ช่องว่างนี้คือ vulnerability เชิงระบบที่ควรถูกจัดการในระดับการออกแบบอินเทอร์เฟซ ไม่ใช่แค่เพิ่ม prompt บอกว่า “อย่ามโน” เพราะงานทดสอบหนึ่งสรุปสั้น ๆ ว่า “Your anti-hallucination prompt doesn't survive the schema.” เมื่อความซื่อตรงชนกับข้อจำกัดรูปแบบ สิ่งที่แพ้มักไม่ใช่ฟิลด์บังคับ แต่คือความจริง.
บทสรุป: ถ้าอยากได้ความจริงจาก AI ต้องเริ่มที่โครงสร้าง ไม่ใช่แค่พรอมต์
ทั้งหมดนี้ชี้ไปในทิศทางเดียวกัน: ปัญหา AI hallucination JSON และช่องว่างระหว่างร้อยแก้วซื่อสัตย์กับผลลัพธ์แบบมีสคีมาไม่ได้เป็นเรื่อง “โมเดลไม่ฉลาดพอ” แต่เป็นเรื่องเราออกแบบข้อจำกัดให้ความซื่อตรงแพ้ตั้งแต่ต้น ช่องโหว่ด้าน reasoning trace ทำให้เห็นว่าระบบคิดภายในของโมเดลมีโครงสร้างจริงและอาจถูกดึงไปใช้เพื่อดีหรือร้ายได้ ขณะที่ความสามารถด้าน AI introspection capability แสดงให้เห็นว่าในบางกรณีโมเดลสามารถถามตัวเองได้ว่ากำลังคิดอะไรและอะไรถูกฉีดเข้าไปในหัวมัน. แต่เมื่อทั้งหมดถูกต่อเข้ากับระบบที่บังคับ JSON 100% และวัดความสำเร็จจากการ “ไม่พังสคีมา” เรากำลังใช้ศักยภาพเหล่านี้ในทางที่ผลักให้โมเดลโกหกเพื่อรักษารูปแบบมากกว่าบอกความจริงเพื่อรักษาผู้ใช้.
ทางออกระยะสั้นคือการออกแบบสคีมาให้มี “ช่องทางซื่อสัตย์” เสมอ ตั้งแต่ escape value ใน enum ไปจนถึงฟิลด์ที่ระบุระดับหลักฐาน ที่สำคัญคือต้องทดสอบโมเดลในรูปแบบเดียวกับที่ใช้งานจริง ไม่ใช่แค่ร้อยแก้วบน benchmark แล้วสรุปว่าระบบ “ปลอด hallucination” เพราะในโลกจริง โมเดลกำลังทำงานผ่าน JSON, function call และตัวแปลงเชิงโครงสร้างที่ไม่เคยถูกวัด. ทางออกระยะยาวยิ่งกว่าคือการผูกความสามารถ introspection เข้ากับการใช้งานให้มากขึ้น ให้โมเดลรายงานสภาวะภายใน เช่น ความไม่มั่นใจหรือความขัดแย้งระหว่างรูปแบบกับหลักฐาน แล้วให้ระบบตัดสินใจบนข้อมูลนั้น แทนที่จะปล่อยให้มันแต่งคำตอบให้สอดคล้องสคีมาโดยอัตโนมัติ ถ้าเราต้องการ AI ที่ไม่โกหกภายใต้แรงกดดันของ JSON เราต้องยอมรับเสียก่อนว่าปัญหาไม่ใช่ “โมเดลดื้อ” แต่คือเราออกแบบฟอร์มที่ทำให้มันซื่อตรงได้ยากเกินไป.
