Gemini บน macOS เพิ่ม AI ดูหน้าจอ Mac ได้ฟรี พร้อมระบบพิมพ์ด้วยเสียงอัจฉริยะ

Google เดินหน้าขยายความสามารถของ Gemini บน macOS ให้ทำหน้าที่เป็นผู้ช่วย AI ที่ใกล้เคียงกับการเป็น “ผู้ช่วยส่วนตัว” มากขึ้น ผ่านการอัปเดตใหม่ 2 ฟีเจอร์ ได้แก่ Intelligent Dictation และ Screen-aware Reasoning ซึ่งช่วยให้ AI เข้าใจบริบทการทำงานบนเครื่อง Mac ได้ดียิ่งขึ้น

พิมพ์ด้วยเสียงได้เป็นธรรมชาติมากขึ้น

ฟีเจอร์แรกคือ Intelligent Dictation ที่ช่วยให้ผู้ใช้สามารถกดปุ่ม Fn แล้วพูดเพื่อพิมพ์ข้อความได้ในทุกแอปบน macOS

จุดเด่นคือ Gemini จะช่วยลบคำติดปากอย่าง “เอ่อ”, “อืม” หรือคำพูดที่ไม่จำเป็น พร้อมเรียบเรียงประโยคให้ลื่นไหลทันทีที่เคอร์เซอร์ ทำให้สามารถร่างอีเมล เอกสาร หรือข้อความต่าง ๆ ได้สะดวกขึ้นโดยไม่ต้องเสียเวลาแก้ไขมากเหมือนเดิม

ฟีเจอร์นี้เปิดใช้งานเป็นค่าเริ่มต้น (Default) สำหรับผู้ใช้ Gemini บน Mac แต่สามารถปิดได้จากการตั้งค่า

Gemini มองเห็นหน้าจอ Mac ได้แล้ว

อีกหนึ่งฟีเจอร์สำคัญคือ Screen-aware Reasoning ซึ่งเปิดโอกาสให้ Gemini วิเคราะห์สิ่งที่กำลังแสดงบนหน้าจอ Mac หลังจากผู้ใช้อนุญาตสิทธิ์

ตัวอย่างการใช้งาน เช่น

แนวคิดของฟีเจอร์นี้คือทำให้ Gemini สามารถทำงานร่วมกับทั้งระบบของ macOS ได้ ไม่จำกัดเฉพาะภายในแอป Gemini เท่านั้น

ฟรี แต่ต้องเปิดใช้งานเอง

ต่างจากระบบพิมพ์ด้วยเสียง ฟีเจอร์ Screen-aware Reasoning ไม่ได้เปิดใช้งานโดยอัตโนมัติ ผู้ใช้ต้องให้สิทธิ์ Gemini ในการเข้าถึงหน้าจอด้วยตนเองก่อน จึงจะสามารถวิเคราะห์ข้อมูลบนจอได้

Google ระบุว่าฟีเจอร์นี้ถูกออกแบบมาเพื่อเพิ่มประสิทธิภาพการทำงาน ไม่ใช่ให้ AI ตรวจสอบหน้าจอตลอดเวลาโดยไม่ได้รับอนุญาต

ประโยชน์แลกกับความเป็นส่วนตัว

แม้ว่าความสามารถใหม่จะช่วยให้ Gemini ทำงานได้ใกล้เคียงผู้ช่วย AI แบบ Agent มากขึ้น แต่ก็ทำให้เกิดคำถามด้านความเป็นส่วนตัว เนื่องจาก AI จะสามารถเข้าถึงข้อมูลที่ปรากฏบนหน้าจอ เช่น เอกสาร อีเมล หรือข้อมูลส่วนบุคคล ระหว่างการทำงาน

นอกจากนี้ ยังมีความเสี่ยงในอนาคตจากเทคนิค Prompt Injection ซึ่งเป็นการซ่อนคำสั่งอันตรายไว้ในเว็บไซต์หรือเอกสาร หาก AI ที่มีสิทธิ์ทำงานแทนผู้ใช้ตีความคำสั่งเหล่านั้นว่าเป็นคำสั่งจริง ก็อาจนำไปสู่การเปิดเว็บไซต์อันตราย ดาวน์โหลดไฟล์ไม่พึงประสงค์ หรือดำเนินการอื่นโดยไม่ตั้งใจ

อย่างไรก็ตาม ความเสี่ยงดังกล่าวยังถือว่าต่ำกว่าระบบ AI แบบ Agent เต็มรูปแบบ เพราะ Screen-aware Reasoning ในปัจจุบันยังคงทำงานภายใต้คำสั่งของผู้ใช้เป็นหลัก และยังไม่สามารถดำเนินการต่าง ๆ ได้อย่างอิสระเหมือน AI Agent รุ่นสมบูรณ์

ดาวน์โหลด Gemini สำหรับ MacOS ได้ที่นี่ <<<