ทดสอบเหตุผลทางเคมี ไม่ใช่แค่ความรู้ทั่วไป
MedChemBench คือเบนช์มาร์กค้นหายาที่ประเมินว่าโมเดล AI อ่านโครงสร้างโมเลกุล เชื่อมโยงข้อมูลนั้นกับผลทดลอง และใช้หลักฐานเพื่อเปรียบเทียบหรือเลือกสารประกอบสำหรับศึกษาต่อได้แม่นยำเพียงใด โดยอาศัยโจทย์จากงานวิจัยเคมีเวชภัณฑ์ที่ตีพิมพ์แล้ว การเปิดตัวนี้ชี้ให้เห็นว่า AI พัฒนายาจะมีประโยชน์ก็ต่อเมื่อทำมากกว่าตอบคำถามเกี่ยวกับชีววิทยาหรือเคมีได้คล่อง โมเดลต้องอธิบายได้ว่าทำไมสารหนึ่งจึงเหมาะกว่าอีกสาร และข้อสรุปนั้นสอดคล้องกับข้อมูลทดลองที่ให้มาหรือไม่ จุดเด่นของเบนช์มาร์กจึงอยู่ที่การทดสอบการตัดสินใจเชิงวิทยาศาสตร์ ไม่ใช่เพียงความสามารถในการเรียบเรียงคำตอบที่ฟังดูน่าเชื่อถือ
คะแนนสูงยังไม่เท่ากับค้นพบยาได้เอง
การประเมินใช้โจทย์ 99 ข้อจากงานวิจัย และรวบรวมข้อมูลจากเอกสารวิจัยกับสิทธิบัตร 117 ฉบับ ครอบคลุมโครงสร้างโมเลกุล 761 รูปแบบ ในการตั้งค่าการให้เหตุผลระดับ xhigh, GPT‑6.2 Astra ได้คะแนน 84.5% ตามด้วย GPT‑6 Astra ที่ 83.3%, GPT‑6.1 Sol ที่ 82.0% และ GPT‑5.6 Sol ที่ 58.2% ผลดังกล่าวบอกได้ว่าโมเดลทำโจทย์ตามกรอบข้อมูลที่กำหนดได้ดีเพียงใด แต่ยังไม่ใช่หลักฐานว่า AI ค้นพบยาใหม่หรือทำให้การตัดสินใจในห้องทดลองดีขึ้นโดยตรง ประโยชน์ต่อผู้ป่วยจึงยังอยู่ปลายทางของห่วงโซ่: หาก AI ช่วยนักวิทยาศาสตร์คัดกรองและวิเคราะห์สารได้อย่างน่าเชื่อถือ ก็อาจเป็นส่วนหนึ่งของการพัฒนายาที่ดีขึ้น แต่เบนช์มาร์กนี้เพียงลำพังยังยืนยันผลลัพธ์นั้นไม่ได้
สารประกอบที่แรงกว่าอาจไม่ใช่ตัวเลือกที่ดีกว่า
เหตุผลที่การเลือกสารประกอบยาเป็นโจทย์ยาก คือการปรับคุณสมบัติหนึ่งอาจทำให้อีกคุณสมบัติแย่ลง สารอาจยับยั้งโปรตีนเป้าหมายได้ดี แต่ผ่านเข้าสู่เซลล์ได้น้อยหรือถูกเอนไซม์ในตับสลายเร็ว การดูเพียงค่าประสิทธิภาพต่อเป้าหมายจึงเสี่ยงทำให้เลือกสารที่ดูเด่นในด้านเดียว แต่ไม่เหมาะจะพัฒนาต่อ ตัวอย่างในเบนช์มาร์กอ้างอิงงานศึกษาสารยับยั้ง PRMT5 ซึ่งเกี่ยวข้องกับการค้นคว้ายารักษามะเร็ง โมเดลต้องคาดการณ์สารสามชนิดทั้งด้านการยับยั้ง PRMT5 ในเซลล์ การผ่านแนวกั้นของเซลล์ และการสลายตัวในการทดสอบด้วยเอนไซม์ตับ การทดสอบลักษณะนี้มีน้ำหนักกว่าการทายคำตอบแยกข้อ เพราะบังคับให้ AI เชื่อมรายละเอียดของโครงสร้างกับหลักฐานและข้อแลกเปลี่ยนหลายด้านพร้อมกัน
อ่านโครงสร้างให้ถูก ก่อนให้เหตุผล
เบนช์มาร์กประเมินความสามารถสี่ด้าน ได้แก่ การสร้างโครงสร้างโมเลกุลให้ถูกต้อง การอธิบายด้วยหลักฐาน การจัดอันดับและเลือกสารตามเงื่อนไข และการทำนายคุณสมบัติที่วัดได้หรือคำนวณไว้ การตรวจโครงสร้างเป็นพื้นฐานสำคัญ เพราะความคลาดเคลื่อนของการเชื่อมต่ออะตอม วงแหวน หรือสเตอริโอเคมีอาจหมายถึงโมเดลกำลังวิเคราะห์คนละโมเลกุล ในโจทย์หนึ่ง โมเดลต้องประกอบสารโดยคงวงแหวน 18 อะตอมไว้ GPT‑6 Astra สร้างโครงสร้างถูกต้องครบทั้งสิบคำตอบ ขณะที่ GPT‑5.6 Sol และ GPT‑5.6 Luna ทำไม่ถูกต้องทั้งสิบคำตอบ อย่างไรก็ดี การสร้างโครงสร้างได้ดีไม่ได้รับประกันว่าจะเลือกสารหรือทำนายค่าคุณสมบัติได้แม่นเท่ากัน ซึ่งเป็นเหตุผลที่ MedChemBench ควรวัดทั้งความเข้าใจภาพโมเลกุลและการตัดสินใจจากข้อมูลทดลอง การติดตามการประเมินและการอัปเดตเมื่อโมเดลพัฒนาขึ้นจึงสำคัญพอ ๆ กับคะแนนครั้งแรก






