MultiLangBench คืออะไร และทำไมคนทำระบบองค์กรควรสนใจ
MultiLangBench คือชุดการประเมินความสามารถ AI การเขียนโค้ดที่ออกแบบมาเพื่อทดสอบว่าโมเดลอย่าง ChatGPT สามารถสร้างเอนจินฐานข้อมูลที่เข้ากันได้กับ SQLite ขึ้นใหม่ตั้งแต่ต้นด้วยภาษาโปรแกรม 20 ภาษาที่แตกต่างกัน ทั้งภาษาแพร่หลายและภาษาโปรแกรมน้อยที่มีแหล่งข้อมูลจำกัด โดยเน้นวัดทักษะวิศวกรรมซอฟต์แวร์จริง เช่น การออกแบบโครงสร้างโค้ด การจัดการสถานะ และการรักษาพฤติกรรมของระบบให้ถูกต้องสม่ำเสมอในทุกภาษาโปรแกรมที่ใช้
หัวใจของข่าวนี้คือ OpenAI ไม่ได้วัด AI แค่เขียนฟังก์ชันสั้นๆ อีกต่อไป แต่ให้สร้างเอนจินฐานข้อมูลที่รองรับคำสั่ง SQL จากไฟล์ฐานข้อมูลเริ่มต้น แล้วตรวจสอบผลลัพธ์ด้วย SQLite เวอร์ชันอ้างอิง นี่คือการขยับจากการทดสอบโค้ดแบบของเล่น ไปสู่การประเมินงานวิศวกรรมซอฟต์แวร์เต็มรูปแบบที่ใกล้เคียงระบบจริงมากขึ้น
สำหรับทีมไอทีในองค์กร สิ่งนี้แปลว่า AI เริ่มเข้าใกล้บทบาทผู้ช่วยวิศวกรซอฟต์แวร์ที่ทำงานได้ทั้งการสร้างระบบใหม่และแตะต้องระบบเก่าที่ซับซ้อน ไม่ใช่แค่เครื่องมือเติมโค้ดใน IDE อีกต่อไป
จาก Python ถึง COBOL: AI กำลังเรียนรู้ภาษาโปรแกรมน้อยอย่างจริงจัง
จุดต่างของ MultiLangBench คือการบังคับให้ AI ทำงานกับภาษาโปรแกรมที่หลากหลาย ไม่ใช่แค่ Python หรือ Java แต่รวมถึง COBOL Fortran Visual Basic OCaml และภาษาอื่นที่มีโค้ดและเอกสารให้เรียนรู้น้อยกว่าภาษาเมนสตรีมอย่าง Python และ JavaScript อย่างมาก ภาษาเหล่านี้คือภาษาโปรแกรมน้อยในมุมมองของโมเดล AI เพราะข้อมูลฝึกมีจำกัด
ผลการทดสอบแสดงการก้าวกระโดดชัดเจน GPT‑6 Astra มีอัตราการผ่านการทดสอบเฉลี่ย 87.4 เปอร์เซ็นต์ใน 20 ภาษา เพิ่มจาก 26.8 เปอร์เซ็นต์ของ GPT‑5.6 Sol และยังดึงคะแนน COBOL จาก 10.9 เปอร์เซ็นต์ขึ้นมาเป็น 72.1 เปอร์เซ็นต์ รวมถึง Fortran ที่ขึ้นเป็น 83.5 เปอร์เซ็นต์ และ Visual Basic ที่ 89.4 เปอร์เซ็นต์
คำถามสำคัญคือ ทำไมต้องสนใจภาษาเก่าเหล่านี้ คำตอบคือระบบโครงสร้างพื้นฐานจำนวนมากยังพึ่งพาอยู่ COBOL รองรับระบบธนาคารออนไลน์จำนวนมาก ธุรกรรมบัตรเครดิตที่จุดบริการ และธุรกรรมผ่านตู้เอทีเอ็มส่วนใหญ่ ขณะที่ Fortran ใช้ในงานพยากรณ์อากาศและการวิเคราะห์ความปลอดภัยของเครื่องปฏิกรณ์นิวเคลียร์ ถ้า AI อ่านและเขียนภาษาเหล่านี้ได้ดีขึ้น ความเสี่ยงและต้นทุนในการดูแลระบบสำคัญก็ลดลงตามไปด้วย
โจทย์ SQLite: การทดสอบที่บังคับให้ AI คิดแบบวิศวกรซอฟต์แวร์
MultiLangBench เลือก SQLite 3.40.1 เป็นโจทย์กลาง แล้วให้โมเดลอ่านเอกสารที่กำหนด จากนั้นเขียนโปรแกรมด้วยภาษาที่ระบุเพื่อจัดการคำสั่งฐานข้อมูล เช่น การอ่าน แก้ไข และเขียนไฟล์ฐานข้อมูลใหม่ ก่อนจะนำผลลัพธ์ไปตรวจสอบกับ SQLite ตัวจริง ที่สำคัญคือสภาพแวดล้อมทดสอบถูกตัดการเชื่อมต่ออินเทอร์เน็ตและลบซอฟต์แวร์ SQLite เดิมออก เพื่อไม่ให้โมเดลเรียกใช้ไลบรารีสำเร็จรูป
การออกแบบแบบนี้ทำให้การประเมิน AI การเขียนโค้ดเปลี่ยนจากการเติมโค้ดสั้นๆ ไปสู่การวัดความสามารถในการออกแบบสถาปัตยกรรม การจัดการสถานะ การจัดการข้อผิดพลาด และการเขียนโค้ดต่อเนื่องยาวๆ ให้ยังคงทำงานถูกต้องตลอด นี่คือทักษะที่ใกล้เคียงงานของวิศวกรซอฟต์แวร์ในโลกจริงมากกว่าการตอบโค้ดตัวอย่างในบทเรียน
ในมุมมองเชิงนโยบายเทคโนโลยี การมีเกณฑ์วัดอย่าง MultiLangBench ทำให้การพูดว่า AI เก่งเขียนโค้ดไม่ใช่แค่คำโฆษณา แต่มีตัวเลขเปรียบเทียบข้ามเวอร์ชันและข้ามภาษาโปรแกรมให้เห็นชัด ว่ารุ่นใหม่ดีขึ้นแค่ไหนในงานวิศวกรรมซอฟต์แวร์จริง
COBOL และการย้ายโค้ด: ด่านหินของระบบเก่าที่ AI เริ่มเอาอยู่
ปัญหาใหญ่ขององค์กรคือระบบที่รันมาหลายสิบปีด้วย COBOL หรือภาษาเก่าอื่นๆ เมื่อถึงเวลาต้องแก้ไขหรือย้ายระบบ มักเจอทั้งเอกสารไม่ครบ นักพัฒนารุ่นแรกลาออก และกฎธุรกิจสำคัญถูกฝังอยู่ในโค้ดเท่านั้น การแตะต้องระบบเหล่านี้จึงเสี่ยงสูง เพราะเปลี่ยนโค้ดผิดเพียงเล็กน้อยก็อาจทำให้ผลการคำนวณหรือการจัดการข้อมูลเปลี่ยนไป
OpenAI จึงออกแบบการประเมินการย้ายระบบ COBOL แยกต่างหาก ให้โมเดลแปลงโปรแกรม COBOL ไปเป็น C++ Java Kotlin Python หรือ Rust โดยต้องรักษาพฤติกรรมการทำงานเดิมทุกไบต์ เช่น การคำนวณเลขฐานสิบแบบจุดทศนิยมคงที่ของ COBOL ที่จะตัดเลขทศนิยมส่วนเกินทิ้ง เว้นแต่ระบุให้ปัดเศษอย่างชัดเจน หากโมเดลแปลงเป็นการปัดเศษแทน แม้โปรแกรมรันได้ก็ถือว่าผิด
ผลลัพธ์ที่น่าจับตาคือ GPT‑6.1 Sol ทำความแม่นยำได้ 86.6 เปอร์เซ็นต์ในการตั้งค่าการให้เหตุผลระดับต่ำ เทียบกับ GPT‑5.6 Sol ที่ทำได้เพียง 5.4 เปอร์เซ็นต์ และเมื่อใช้การให้เหตุผลระดับสูงขึ้น ความแม่นยำเพิ่มเป็น 97.9 เปอร์เซ็นต์ นี่คือสัญญาณว่า AI เริ่มช่วยงานย้ายโค้ดระบบเก่าได้อย่างมีนัยสำคัญ แต่ก็ยังต้องมีผู้เชี่ยวชาญตรวจสอบและทดสอบกับกฎธุรกิจจริงเสมอ
บทสรุป: จากเครื่องมือเติมโค้ด สู่ผู้ช่วยวิศวกรซอฟต์แวร์ข้ามยุค
MultiLangBench และการประเมินการย้ายระบบ COBOL ทำให้ภาพของ ChatGPT software engineering ชัดขึ้นมาก เป้าหมายไม่ใช่แค่ให้ AI เขียนโค้ดได้ แต่ให้เข้าใจซอร์สโค้ดที่ไม่คุ้นเคย วางแผนการเปลี่ยนแปลง ใช้เครื่องมือพัฒนา รันทดสอบ และแก้บั๊กในภาษาโปรแกรมที่หลากหลาย ตั้งแต่ภาษาใหม่ไปจนถึงภาษาโปรแกรมน้อยที่ยังขับเคลื่อนระบบสำคัญของโลก
สำหรับองค์กร นี่คือโอกาสสองด้าน ด้านหนึ่งคือใช้ AI การเขียนโค้ดช่วยลดภาระงานบำรุงรักษาและย้ายระบบ ทำให้การปรับปรุงซอฟต์แวร์สำคัญให้ทันสมัยทำได้แม่นยำขึ้นและต้นทุนลดลง อีกด้านคือจำเป็นต้องออกแบบกระบวนการกำกับ ตรวจสอบ และทดสอบให้รัดกุม เพราะแม้โมเดลจะผ่านเกณฑ์ MultiLangBench benchmark ได้ดี แต่ระบบจริงยังมีบริบทธุรกิจและข้อกำกับที่ไม่มีอยู่ในชุดทดสอบ
ทิศทางต่อจากนี้จึงไม่น่าจะเป็นการแทนที่วิศวกรซอฟต์แวร์ แต่เป็นการให้ AI กลายเป็นผู้ช่วยที่เข้าใจทั้งโลกของภาษาใหม่และมรดกโค้ดเก่าที่องค์กรยังต้องพึ่งพา ใครที่เริ่มทดลองใช้โมเดลรุ่นล่าสุดกับภาษาโปรแกรมที่ทีมใช้อยู่ และส่งข้อเสนอแนะกลับไป จะมีส่วนกำหนดอนาคตของเครื่องมือวิศวกรรมซอฟต์แวร์ยุค AI โดยตรง
