เริ่มจากค่ามาตรฐานที่วัดซ้ำได้
Hill-Climbing สำหรับ AI Agent คือวงจรปรับคุณภาพด้วยการสร้างเคสทดสอบ วัดคะแนน วิเคราะห์จุดพลาด แล้วแก้ไขและทดสอบซ้ำ เพื่อให้เอเจนต์ค่อยๆ ทำงานได้ดีขึ้นโดยมีผลลัพธ์รองรับ ไม่ใช่อาศัยความรู้สึกอย่างเดียว วิธีนี้เหมาะกับทีมที่เปลี่ยนพรอมต์ เครื่องมือ หรือโมเดลอยู่เสมอ แต่ต้องมีชุดทดสอบที่เป็นตัวแทนงานจริงและเกณฑ์ประเมินที่ชัดก่อนเริ่ม ในตัวอย่างนี้ใช้ Agents CLI รุ่น 1.8.0 กับเทมเพลต LangChain สำหรับ Cloud Run โดยสร้างโปรเจกต์ด้วยคำสั่ง `agents-cli create my-agent --agent google/agents-cli/extensions/langchain/[email protected] -d cloud_run` แล้วเข้าโฟลเดอร์และติดตั้งด้วย `cd my-agent && agents-cli install` โครงสร้างที่ได้มีชุดข้อมูล `tests/eval/datasets/basic-dataset.json` และไฟล์ตั้งค่า `tests/eval/eval_config.yaml` จึงใช้เป็นจุดเริ่มต้นได้โดยไม่ต้องประกอบทุกอย่างเอง
ก่อนเปลี่ยนแปลงเอเจนต์ ให้รันชุดทดสอบเดิมเพื่อบันทึกค่ามาตรฐานไว้ ตัวอย่างนี้ใช้ผู้ประเมินด้วยโมเดลภาษาในไฟล์ `tests/eval/response_quality.py` ให้คะแนนคำตอบตั้งแต่ 1 ถึง 5 โดยใช้ `gemini-3.8-flash` เป็นผู้ตัดสิน จุดสำคัญคือชุดข้อมูลและเกณฑ์ต้องคงที่ระหว่างการเปรียบเทียบ มิฉะนั้นคะแนนที่เปลี่ยนอาจมาจากวิธีวัด ไม่ใช่จากเอเจนต์
ทำวงจรทดสอบ วิเคราะห์ และแก้ไข
เมื่อมีค่ามาตรฐานแล้ว ให้ทำตามลำดับต่อไปนี้ การแยกแต่ละช่วงช่วยให้รู้ว่าปัญหาอยู่ที่การสร้างคำตอบ การให้คะแนน หรือการเปลี่ยนพรอมต์ และทำให้การปรับปรุง AI Agent อาศัยหลักฐานจากเคสเดิม
- เขียนหรือปรับเคสทดสอบให้ครอบคลุมงานสำคัญและกรณีที่เคยพลาด แล้วเก็บชุดข้อมูลเดิมไว้ใช้เปรียบเทียบ
- รัน `agents-cli eval generate` เพื่อให้เอเจนต์ตอบเคสทดสอบ และเก็บผลลัพธ์ฉบับเต็มไว้
- ใช้ `agents-cli eval grade` ให้คะแนนตามเมตริกที่กำหนด แล้วเทียบคะแนนกับค่ามาตรฐาน
- เรียก `agents-cli eval compare` เพื่อดูผลการทดสอบสองรอบแบบเคียงข้างกัน จากนั้นใช้ `agents-cli eval analyze` จัดกลุ่มข้อผิดพลาดและตรวจเคสที่คะแนนเปลี่ยน
- แก้พรอมต์หรือการตั้งค่าตามสาเหตุที่พบ แล้วรันวงจรเดิมซ้ำ หรือใช้ `agents-cli eval optimize` ทำ Hill-Climbing บนพรอมต์ด้วย GEPA เพื่อเสนอพรอมต์คะแนนสูงให้นักพัฒนาตรวจสอบ
อย่าตัดสินจากคะแนนเฉลี่ยอย่างเดียว เพราะค่าเฉลี่ยอาจบดบังเคสสำคัญที่แย่ลง และอย่าบันทึกไว้เพียงตัวเลขสรุป ไฟล์ผลลัพธ์ JSON ฉบับเต็มเป็นหลักฐานที่จำเป็นต่อการเปรียบเทียบและหาสาเหตุ ก่อนนำพรอมต์ที่เครื่องมือเสนอไปใช้ ควรตรวจว่าคำตอบยังตรงข้อกำหนดและไม่ทำให้พฤติกรรมที่ถูกต้องอยู่แล้วเสียไป
ตรวจจับการถดถอยและเลือกโมเดลจากผลจริง
การทดสอบ AI Agent ช่วยจับการเปลี่ยนพฤติกรรมที่การทดสอบโค้ดทั่วไปอาจไม่พบ โค้ดอาจรันผ่าน แต่คำตอบหรือการเลือกใช้เครื่องมือกลับแย่ลงได้ ตัวอย่างหนึ่งคือเปลี่ยนพรอมต์เอเจนต์สภาพอากาศให้มีบุคลิกเชฟแล้วคะแนนเฉลี่ยลดจาก 4.0 เหลือ 2.75 เพราะเอเจนต์เริ่มละเลยเครื่องมือสภาพอากาศและแต่งข้อมูลขึ้นเอง การรัน `eval generate` และ `eval grade` หลังการเปลี่ยนแปลงจึงช่วยตรวจจับการถดถอยก่อนปล่อยใช้งาน
ใช้ `eval compare` ตรวจทีละเคสเพื่อดูว่าคะแนนตกตรงงานประเภทใด แล้วค่อยตัดสินใจว่าจะย้อนการเปลี่ยนแปลงหรือปรับแก้ต่อ วงจรเดียวกันยังใช้ทดลองโมเดลที่ราคาถูกกว่า เช่น `gemini-2.5-flash` เพื่อดูว่าทำงานแทนโมเดลหลักได้หรือไม่ คะแนนเฉลี่ยอาจลดลง แต่คำตอบรายเคสจะช่วยบอกว่าข้อจำกัดที่พบยอมรับได้กับงานจริงหรือเปล่า อย่าเลือกโมเดลจากตัวเลขรวมเพียงค่าเดียว
เพื่อเฝ้าระวังการเลื่อนไหลของคุณภาพที่อาจเกิดจากผู้ให้บริการอัปเดตโมเดล ให้ตั้ง Agents CLI ทำงานประเมินตามเวลาได้ผ่าน cron job หรือ Cloud Scheduler ใช้สคริปต์ Python ตรวจคะแนนกับเกณฑ์ที่กำหนด และส่งการแจ้งเตือนเมื่อคะแนนเฉลี่ยลดเกินค่าขีดจำกัด การแจ้งเตือนทำให้ทีมรู้ว่าควรตรวจผลก่อนปัญหาถึงผู้ใช้ แต่ไม่ได้แทนการวิเคราะห์รายเคสหรือการตัดสินใจของนักพัฒนา
ทำให้การปรับปรุงเป็นกิจวัตร
ผลลัพธ์ที่ต้องการไม่ใช่คะแนนสูงสุดเพียงครั้งเดียว แต่คือชุดทดสอบเดิมที่รันซ้ำได้ หลักฐานผลลัพธ์ครบ และขั้นตอนตรวจเมื่อคะแนนเปลี่ยน การประเมินจะมีประโยชน์ก็ต่อเมื่อทีมลงมือแก้ตามสิ่งที่พบ แล้วทดสอบซ้ำเพื่อยืนยันว่าการแก้ช่วยงานจริงและไม่ทำให้เคสอื่นถดถอย
ข้อผิดพลาดที่พบบ่อยคือเชื่อคะแนนเฉลี่ยมากเกินไป และทิ้งรายละเอียดผลลัพธ์หลังจบรอบทดสอบ เก็บไฟล์ JSON ไว้ทุกครั้ง พร้อมบันทึกว่าปรับพรอมต์ เครื่องมือ หรือโมเดลอะไร การตั้งแจ้งเตือนตามเกณฑ์ช่วยให้เห็นสัญญาณเร็วขึ้น ส่วนการเปรียบเทียบรายเคสช่วยหาสาเหตุและเลือกแนวทางแก้ได้ตรงจุด
ถ้าเอเจนต์ถูกใช้งานจริงและมีการเปลี่ยนแปลงเป็นระยะ วงจรนี้คุ้มกับเวลาที่ตั้งค่า เพราะช่วยตัดสินใจจากผลวัดแทนการเดา แต่ต้องรักษาคุณภาพของชุดทดสอบและตรวจข้อเสนอจากระบบก่อนนำไปใช้ Hill-Climbing เป็นเครื่องมือช่วยหาแนวทางที่ดีขึ้น ไม่ใช่คำรับรองว่าคะแนนสูงขึ้นแล้วเอเจนต์จะเหมาะกับทุกสถานการณ์
