เมื่อคุณพิมพ์ถึง AI เกิดอะไรขึ้นกันแน่
วิธี LLM ประมวลผลข้อมูลคือกระบวนการแปลงข้อความภาษาธรรมชาติให้กลายเป็นหน่วยย่อยที่เรียกว่าโทเคน แล้วเปลี่ยนโทเคนเหล่านั้นเป็นตัวเลขในรูปเวกเตอร์ ก่อนส่งต่อให้สถาปัตยกรรมทรานส์ฟอร์เมอร์วิเคราะห์ความสัมพันธ์ของโทเคนผ่านกลไก attention เพื่อคาดเดาว่าโทเคนใดควรปรากฏต่อไปและสร้างประโยคตอบกลับที่ต่อเนื่องกันในระดับสถิติ
ทุกครั้งที่คุณพิมพ์คำว่า Hello ลงในแชต AI สิ่งที่เกิดขึ้นไม่ใช่การค้นหาคำตอบสำเร็จรูปจากฐานข้อมูล แต่เป็นการผ่านด่านหลายชั้น ตั้งแต่ tokenization การแปลงเป็น embeddings และการคำนวณของเครือข่ายประสาทแบบ Transformer ที่ใช้กลไก attention ในการสร้างคำตอบทีละโทเคน ความเข้าใจ AI ภายในในระดับนี้สำคัญต่อผู้ใช้เพราะอธิบายได้ว่าทำไมบางพรอมป์ถึงได้คำตอบดี ในขณะที่บางพรอมป์ทำให้โมเดลตอบหลุดประเด็นหรือมั่ว ยิ่งคุณเข้าใจว่าระบบภายในคิดอย่างไร คุณก็ยิ่งออกแบบคำสั่งให้ AI ทำงานตรงใจได้มากขึ้น
Tokenization ไม่ใช่คำศัพท์เทคนิคเล่นๆ แต่คือเลนส์ของภาษา
โทเคนคือชิ้นข้อความที่โมเดลถือว่าเป็นหน่วยเดียวที่แบ่งต่อไม่ได้ และไม่จำเป็นต้องตรงกับคำหนึ่งคำเสมอไป โทเคนอาจเป็นทั้งคำเต็ม ส่วนหนึ่งของคำ ช่องว่างบวกคำ หรือสัญลักษณ์ตัวเดียวก็ได้ ในเชิง Tokenization ในภาษาศาสตร์ คุณควรมองโทเคนเป็นเลโก้ของภาษา ชุดเลโก้ทั้งหมดคือ vocabulary หรือรายการโทเคนที่ตัวแบ่งโทเคนรู้จัก เมื่อเลโก้หรือโทเคนไม่พอ โมเดลต้องต่อคำจากชิ้นเล็กหลายชิ้น ซึ่งทำให้การเรียนรู้ความหมายแม่นยำน้อยลง
ผู้ใช้มักเข้าใจผิดว่าโทเคนเท่ากับคำ แต่ความต่างนี้มีผลต่อคุณโดนตรง เพราะโมเดลมองไม่เห็นตัวอักษรเดี่ยว เช่น คำว่า strawberry อาจถูกแบ่งเป็น straw กับ berry ส่งผลให้โมเดลไม่รู้ว่ามีตัว r กี่ตัวในคำ การเลือกโทเคนจึงเหมือนการเลือกเลนส์ให้โมเดล ถ้าเลนส์เบี้ยว ทุกอย่างที่ตามมาก็เบลอ เมื่อ tokenizer ที่ฝึกด้วยข้อความแพทย์เจอกับคำว่า myocardial มันสามารถเก็บคำนี้เป็นโทเคนเดียว ทำให้โมเดลเรียนรู้ความหมายทางการแพทย์ได้ตรงและเร็วขึ้น ในขณะที่ tokenizer ทั่วไปอาจต้องหั่นคำนี้เป็นชิ้นย่อยที่ไม่มีความหมายชัดเจน
จากตัวอักษรเป็นตัวเลข: Embeddings และ Attention ทำงานอย่างไร
หลังจากข้อความถูกแบ่งเป็นโทเคนแล้ว ระบบจะเปลี่ยนโทเคนเหล่านี้เป็นตัวเลขด้วยการกำหนด token ID ก่อนแปลงเป็นเวกเตอร์ตัวเลขที่เรียกว่า embeddings นี่คือขั้นตอนที่ภาษาแบบมนุษย์ถูกย่อยให้กลายเป็นข้อมูลตัวเลขที่เครือข่ายประสาทเข้าใจได้ ในทางปฏิบัติ embeddings แต่ละตัวคือรายการตัวเลขจำนวนมากที่บรรจุข้อมูลเกี่ยวกับโทเคนนั้น เช่น ความหมาย การใช้งาน และบริบทที่มักพบร่วมกัน แม้โมเดลจะไม่ได้ “เข้าใจ” เช่นมนุษย์ แต่การคำนวณเชิงตัวเลขของโมเดลสร้างตัวแทนที่สะท้อนความสัมพันธ์ระหว่างโทเคนได้อย่างมีประโยชน์
เมื่อมี embeddings แล้ว สถาปัตยกรรม Transformer จะรับช่วงต่อ กลไก self‑attention ทำให้โมเดลพิจารณาความสัมพันธ์ระหว่างโทเคนทุกตัวในบริบทเดียวกัน ระหว่างที่ประมวลผลโทเคนหนึ่งตัว โมเดลสามารถให้น้ำหนักกับโทเคนอื่นต่างกันได้ นี่คือเหตุผลที่โมเดลสามารถเชื่อมโยงคำที่อยู่ห่างกันในประโยคเดียวกัน หรือแม้แต่คนละประโยค ให้เข้ากันอย่างมีเหตุผล จากนั้นโมเดลจะสร้าง distribution ของความน่าจะเป็นว่าโทเคนใดควรตามมา แล้วสุ่มหรือเลือกโทเคนที่เหมาะสมที่สุด ความเข้าใจ AI ภายในในระดับ embeddings และ attention ช่วยให้คุณเห็นว่าโมเดลไม่ได้สงเกตเพียงคำก่อนหน้าเพียงไม่กี่คำ แต่มองภาพรวมของข้อความทั้งช่วง
ทำไมโครงสร้างพรอมป์บางแบบถึงเวิร์กกว่าที่เหลือ
โมเดลภาษาไม่ได้สร้างย่อหน้าทั้งย่อหน้าในคราวเดียว แต่ทำนายโทเคนถัดไปทีละชิ้นอย่างต่อเนื่อง เมื่อเข้าใจจุดนี้ คุณจะเริ่มเห็นว่าพรอมป์ที่ดีคือการจัดลำดับโทเคนให้โมเดลมีโอกาสทำนายถูกมากที่สุด ไม่ใช่แค่ถามคำถามให้สุภาพ วิธี LLM ประมวลผลข้อมูลในรูปแบบ Text → Tokens → Numerical vectors ทำให้ทุกคำในพรอมป์ส่งผลต่อรูปแบบการทำนายของโมเดล พรอมป์ที่ชัดเจน แยกส่วน และจัดบริบทดี จึงช่วยให้ attention ของโมเดลไปโฟกัสโทเคนสำคัญได้ถูกตำแหน่ง
Tokenization ยังชี้ให้เห็นว่าการใช้คำเฉพาะทางหรือชื่อแปลกอาจถูกแตกเป็นโทเคนย่อยจำนวนมาก ทำให้โมเดลต้องเรียนความหมายจากการจัดเรียงชิ้นเล็กเหล่านั้นแทนที่จะเข้าใจจากโทเคนเดียว นี่คือเหตุผลหนึ่งว่าทำไมการให้คำอธิบายเพิ่มเติม เช่น การนิยามคำเฉพาะหรือใส่ตัวอย่าง จึงช่วยให้โมเดลจับความสัมพันธ์ของโทเคนได้ดีขึ้น นอกจากนี้การตระหนักว่าโมเดลเป็นตัวสร้างรูปแบบ ไม่ใช่เครื่องค้นหาคำตอบสำเร็จรูป จะทำให้คุณออกแบบ Prompt Engineering เทคนิค ต่างๆ เช่น การค่อยๆ แจกแจงขั้นตอน การตั้งข้อจำกัด และการจัดโครงสร้างคำสั่ง เพื่อบังคับรูปแบบโทเคนที่ต้องการได้อย่างมีเหตุผลมากขึ้น
Tokenization ที่ดีคือรากฐานของความแม่นยำ
Tokenization คือเลนส์ที่ทำให้โมเดลมองภาษา ถ้าเลนส์ผิด ทุกสิ่งที่ตามมาก็พร่าเลือน ช่วงแรกของการสร้าง tokenizer มักใช้วิธีที่เรียกว่า Byte Pair Encoding หรือ BPE ซึ่งเรียนรู้ vocabulary จากข้อมูลโดยการรวมคู่สัญลักษณ์ที่ปรากฏบ่อยที่สุดเข้าด้วยกันเป็นโทเคนใหม่อย่างต่อเนื่อง ขั้นตอนนี้ทำให้ tokenizer สร้างชุดเลโก้ภาษาเฉพาะของตัวเองขึ้นมา จากนั้นเมื่อใช้งานจริงก็ใช้กฎการรวมโทเคนเหล่านี้กับข้อความใหม่ โดยไม่ต้องให้มนุษย์มานั่งเขียนรายการโทเคนทีละคำ
เมื่อคำใหม่ที่ไม่อยู่ใน vocabulary ปรากฏขึ้น โมเดลสมัยใหม่จะไม่แตกคำเป็นโทเคน [UNK] แบบเก่า แต่มันจะแตกคำออกเป็นชิ้นที่เล็กลงซึ่งยังอยู่ใน vocabulary เพื่อลดการสูญเสียข้อมูล นี่สำคัญเพราะถ้าโทเคนกลายเป็น [UNK] ข้อมูลเดิมจะหายไปถาวร ในมุมผู้ใช้ หมายความว่าพรอมป์ที่เต็มไปด้วยชื่อแปลกหรือคำประดิษฐ์จะทำให้โมเดลยากขึ้นในการเรียนรู้ความสัมพันธ์ของโทเคน ในทางตรงกันข้าม หากคุณใช้คำที่ระบบคุ้นเคย หรือให้คำอธิบายและตัวอย่างอย่างชัดเจน คุณกำลังช่วยให้เลนส์ของโมเดลใสขึ้น และช่วยให้ผลลัพธ์มีความแม่นยำและสอดคล้องกับความตั้งใจมากกว่าเดิม
