ใช้ AI เข้าใจสิ่งที่เห็นบนจอของคุณด้วย Screen Awareness และ Side Chat

Screen Awareness AI คืออะไร และทำไมควรสนใจ

Screen Awareness AI คือฟีเจอร์ช่วยให้ผู้ช่วยอัจฉริยะเช่น Raycast AI หรือ ChatGPT เข้าใจบริบทจากหน้าต่างหรือแท็บที่คุณกำลังดูอยู่โดยตรง ลดความจำเป็นในการคัดลอกข้อความ แนบภาพหน้าจอ หรืออธิบายยาวๆ ทำให้การสรุปเนื้อหา วิเคราะห์ข้อมูล และจัดการหน้าเว็บเร็วขึ้น และรู้สึกคล้ายคุยกับเพื่อนที่นั่งอยู่ข้างๆ จอของคุณมากกว่าพิมพ์คำสั่งซ้ำไปมา

หัวใจของแนวคิดนี้คือ AI context awareness หรือความสามารถของ AI ในการรับรู้บริบทจากหน้าต่างหรือเว็บเพจที่กำลังโฟกัสอยู่ โดยไม่ต้องให้ผู้ใช้เตรียมข้อมูลเองทุกครั้ง Raycast มีฟีเจอร์ Screen Awareness ที่นำบริบทจากแอปหรือหน้าต่างที่โฟกัสเข้าสู่ AI Chat หรือ Quick AI ได้ตรงๆ ทำให้ไม่ต้องคัดลอกข้อความหรือแนบภาพหน้าจออีกต่อไป เมื่อเปิดใช้ ระบบจะส่งรายละเอียดของแอปและหน้าต่าง ข้อความที่เลือกอยู่ คอนโทรลที่โฟกัส และภาพหน้าจอของหน้าต่างที่โฟกัสไปยัง Raycast AI เพื่อให้เข้าใจสิ่งที่คุณกำลังทำอยู่

แนวทางแบบเดียวกันถูกนำมาใช้กับส่วนขยายเบราว์เซอร์อย่าง Side Chat ChatGPT บน Chrome ซึ่งให้ AI เห็นว่าเรากำลังดูเว็บอะไรอยู่และตอบคำถามจากบริบทนั้นโดยตรง ถ้าคุณเป็นคนที่เปิดแท็บเยอะ สลับแอปทั้งวัน ฟีเจอร์เหล่านี้จะช่วยลดงานซ้ำๆ และทำให้การใช้ AI เป็นส่วนหนึ่งของงานประจำวันแบบเนียนๆ มากขึ้น

รู้จัก Raycast AI features ที่ช่วยให้จอคุณฉลาดขึ้น

Raycast เป็นแอปเดสก์ท็อปที่เพิ่มความสามารถให้กับการทำงานบนเครื่อง โดยอัปเดตล่าสุดได้เพิ่ม Raycast AI features ที่เน้นเรื่อง Screen Awareness อย่างจริงจัง Raycast เพิ่มคำสั่ง Send Focused Window to AI ซึ่งส่งบริบทของหน้าต่างที่โฟกัสไปยัง AI พร้อมรายละเอียดแอป หน้าต่าง ข้อความที่เลือก คอนโทรลที่โฟกัส และภาพหน้าจอของหน้าต่างนั้น สิ่งนี้ทำให้การถาม AI เกี่ยวกับสิ่งที่เห็นบนจอใช้เวลาเพียงกดปุ่มลัดเดียว

ฟีเจอร์ Screen Awareness ยังทำงานร่วมกับ Ask Screen Awareness AI Extension เพื่อให้คุณส่งบริบทเข้าหา Raycast ได้รวดเร็วขึ้นโดยไม่ต้องเตรียมข้อมูลเอง บน Mac เมื่อเรียกใช้จาก Finder ยังสามารถส่งข้อมูลเกี่ยวกับไฟล์หรือโฟลเดอร์ที่เลือกอยู่ไปให้ AI ช่วยสรุปหรือจัดกลุ่มได้ด้วย ขณะที่ Browser Companion สามารถดึงรายละเอียดและเนื้อหาของเว็บเพจเกินกว่าที่เห็นบนหน้าจอในตอนนั้น ทำให้การสรุปบทความยาว หรือเทียบข้อมูลจากหลายหน้าเว็บกลายเป็นเรื่องเบาๆ

นอกจาก Screen Awareness แล้ว เวอร์ชันใหม่นี้ยังเพิ่มการจัดการบริบท เช่น การ compaction และ context management ให้ AI ประมวลผลข้อมูลจำนวนมากได้ดีขึ้น Quick AI เองก็เคารปการตั้งค่า “Send Message” ด้วย ทำให้กด Command + Return เพื่อส่งข้อความได้ทันที พร้อมกับคำสั่งเสริมอย่าง Send Selected Text to AI, Send Screen Area to AI และ Send Screen to AI ที่สามารถตั้งคีย์ลัดเองได้ รวมถึงการรองรับ hotkeys แบบกด modifier ทั้งสองฝั่งคีย์บอร์ดเช่นซ้าย ⌘ + ขวา ⌘ เพื่อให้เรียกใช้คำสั่งสะดวกขึ้น

Side Chat ChatGPT ช่วยจัดการแท็บและเว็บเพจที่รกให้เป็นระเบียบ

ถ้าคุณเคยเปิดแท็บ Chrome จนหาทางกลับไม่ถูก Side Chat ChatGPT จะกลายเป็นเพื่อนร่วมจอที่ช่วยให้ browser tab management ง่ายขึ้น ส่วนขยาย ChatGPT สำหรับ Chrome ที่เปิดตัวมาก่อนหน้านี้ได้รับการอัปเดตให้เน้นหน้าต่าง Side Chat ที่อยู่ด้านข้างของเว็บ ซึ่งเปิดขึ้นมาเพื่อให้ถามคำถามเกี่ยวกับเว็บที่เรากำลังดูอยู่ได้โดยตรง คุณไม่ต้องคัดลอกข้อความหรือ URL ไปวางในหน้าต่างใหม่อีกต่อไป เพียงเปิด Side Chat และพิมพ์สิ่งที่อยากรู้

จุดเด่นคือความสามารถ AI context awareness บนเว็บ ใน Side Chat คุณสามารถถามเกี่ยวกับวิดีโอ YouTube ที่กำลังดู อ้างอิงแท็บที่เปิดอยู่หลายแท็บพร้อมกัน หรือเน้นข้อความบางส่วนแล้วให้ AI อธิบายหรือสรุปให้ได้เลย ตัวอย่างหนึ่งคือการเปิดแท็บพยากรณ์อากาศ พิพิธภัณฑ์ ร้านพิซซ่า และคู่มือเส้นทางเดินป่า แล้วขอให้ AI วางแผนช่วงบ่ายวันเสาร์จากทุกแท็บที่เปิดอยู่ ผลลัพธ์คือคำแนะนำที่ผูกข้อมูลทุกแท็บเข้าหากัน และอธิบายลำดับกิจกรรมที่เหมาะสมในวันนั้นได้ชัดเจน

อีกตัวอย่างคือการอ่านบทความยาวเกี่ยวกับดาราศาสตร์ แล้วเน้นเพียงสามย่อหน้าแรกที่อ่านยาก จากนั้นคลิก Ask ChatGPT เพื่อให้ Side Chat เปิดพร้อมแนบข้อความที่เน้นให้โดยอัตโนมัติ และขอให้อธิบายแบบคนชอบเรื่องอวกาศแต่ไม่เคยเรียนฟิสิกส์เชิงลึก ฟีเจอร์นี้แม้จะดูเรียบง่าย แต่ช่วยลดขั้นตอนแปะข้อความในหน้าต่างสนทนาใหม่ และทำให้การใช้ AI ในเบราว์เซอร์กลายเป็นส่วนหนึ่งของการอ่านเว็บธรรมดาๆ มากขึ้น

วิธีผสาน Raycast Screen Awareness และ Side Chat เข้ากับงานประจำวัน

การใช้ Screen Awareness AI และ Side Chat ให้คุ้มที่สุดไม่ใช่แค่เปิดฟีเจอร์แล้วจบ แต่ต้องจัดจังหวะงานให้เข้ากับสิ่งที่ AI ทำได้ดี เพื่อให้คุณไม่เสียสมาธิหรือปล่อยให้ AI ดึงข้อมูลเกินความจำเป็น จุดที่ควรระวังคือข้อมูลอ่อนไหว เพราะฟีเจอร์เหล่านี้มองเห็นสิ่งที่อยู่ในหน้าต่างที่คุณโฟกัสอยู่ หากไม่แน่ใจควรหลีกเลี่ยงการเปิดหน้าต่างที่มีข้อมูลส่วนตัวหรือข้อมูลลูกค้าเมื่อตั้งใจจะส่งบริบทให้ AI

1. เริ่มจากกำหนดปัญหาหรือเป้าหมายที่ต้องการ เช่น สรุปรายงาน วิเคราะห์ข้อมูล หรือจัดแผนจากหลายแท็บ เพื่อให้รู้ว่าจะให้ AI ช่วยทำอะไร
2. เปิดหน้าต่างหรือแอปที่เกี่ยวข้องบนเดสก์ท็อป แล้วใช้ Raycast Screen Awareness ส่งหน้าต่างที่โฟกัสเข้าหา Raycast AI ผ่านคำสั่ง Send Focused Window to AI หรือ Ask Screen Awareness AI Extension เพื่อให้ AI เห็นบริบทเต็ม
3. บนเบราว์เซอร์ Chrome ให้เปิด Side Chat จากส่วนขยาย ChatGPT แล้วขอให้ AI สรุปเว็บเพจ ปรับย่อหน้า หรือวางโครงสร้างข้อมูล โดยอาศัยบริบทของหน้าเว็บที่กำลังดูอยู่
4. หากคุณเปิดหลายแท็บที่เกี่ยวข้องกับงานเดียวกัน ให้บอก Side Chat ให้ดูจากทุกแท็บเพื่อจัดลำดับข้อมูลหรือวางแผน เช่น ใช้แท็บข่าว รายงาน และคู่มือ แล้วให้ AI สรุปเป็นข้อๆ บนฐานของข้อมูลทั้งหมด
5. ทบทวนผลลัพธ์ของ AI แล้วแก้ไขให้ตรงกับบริบทงานของคุณ เช่น ปรับน้ำเสียงข้อความ เพิ่มข้อมูลเฉพาะ หรือซ่อนข้อมูลที่ไม่ควรแชร์ ก่อนนำไปใช้จริงในรายงาน อีเมล หรือเอกสารอื่น

ขั้นตอนเหล่านี้ทำให้คุณใช้ฟีเจอร์ AI context awareness ได้เต็มที่ ทั้งบนแอปเดสก์ท็อปอย่าง Raycast และบนเบราว์เซอร์ด้วย Side Chat โดยไม่หลุดโฟกัสจากงานหลัก สิ่งที่ต้องจำคืออย่าปล่อยให้ AI ตัดสินใจแทนคุณทุกอย่าง ให้มันเป็นผู้ช่วยที่จัดการข้อมูลหยาบๆ แล้วคุณเป็นคนตัดสินใจขั้นสุดท้ายเสมอ

สรุป: คุ้มไหมกับการให้ AI เห็นสิ่งที่คุณเห็นบนจอ

การเปิดให้ AI เห็นสิ่งที่อยู่บนจอผ่าน Screen Awareness AI และ Side Chat ChatGPT คือการแลกเวลาที่เคยเสียไปกับการคัดลอก วาง และอธิบายบริบท มาเป็นการกดปุ่มลัดหรือเปิดหน้าต่างเล็กๆ ข้างจอแล้วถามคำถามตรงๆ Raycast Screen Awareness ทำให้ AI เข้าใจบริบทจากแอปที่เปิดอยู่โดยไม่ต้องคัดลอกข้อมูลเอง ขณะที่ Side Chat ช่วยจัดการแท็บ Chrome ที่เปิดมากมายให้เป็นระเบียบ และสามารถสรุปหรือเชื่อมโยงข้อมูลจากหลายแท็บได้

ประสบการณ์โดยรวมคล้ายมีผู้ช่วยนั่งอยู่ข้างๆ ช่วยอ่าน สรุป และจัดโครงสร้างข้อมูลที่อยู่บนจอ ไม่ว่าคุณจะคุยกับ ChatGPT ผ่านเว็บ ส่วนขยายเบราว์เซอร์ หรือใช้ Raycast AI และเครื่องมือ AI อื่นๆ บนเดสก์ท็อป สิ่งที่ควรเฝ้าดูคือเรื่องข้อมูลอ่อนไหว และการไม่ปล่อยให้ AI ตัดสินใจแทนจนหมด ถ้าคุณจัดเส้นแบ่งให้ดี ฟีเจอร์เหล่านี้จะทำให้ทั้งงานและการท่องเว็บทุกวันเบาขึ้นอย่างชัดเจน