Microsoft ได้เปิดตัว เครื่องมือใหม่ใน Copilot Studio ที่ชื่อว่า “Computer Use” ซึ่งช่วยให้ AI สามารถ โต้ตอบกับเว็บไซต์และแอปพลิเคชันบนเดสก์ท็อป ได้โดยตรง โดยไม่ต้องใช้ API ✅ Copilot Studio เพิ่มเครื่องมือ “Computer Use” สำหรับการโต้ตอบกับแอปและเว็บไซต์ - AI สามารถ คลิกปุ่ม, เลือกเมนู และพิมพ์ข้อความ ในแอปพลิเคชันต่างๆ - ทำงานได้แม้ใน สภาพแวดล้อมที่ไม่มี API สำหรับการเชื่อมต่อ ✅ ใช้โมเดลภาษาขนาดใหญ่ (LLM) เพื่อปรับตัวกับการเปลี่ยนแปลงของ UI - สามารถ ตอบสนองต่อการเปลี่ยนแปลงของปุ่มและหน้าจอแบบเรียลไทม์ - มี ระบบเหตุผลในตัว ที่ช่วยให้ AI สามารถแก้ไขปัญหาได้เอง ✅ ทำงานบนโครงสร้างพื้นฐานของ Microsoft เพื่อความปลอดภัย - ข้อมูลของลูกค้าจะถูกเก็บไว้ใน Microsoft Cloud และ ไม่ถูกนำไปใช้ฝึกโมเดล AI - องค์กรสามารถใช้เครื่องมือนี้โดยไม่ต้องจัดการเซิร์ฟเวอร์เอง ✅ ช่วยเพิ่มประสิทธิภาพให้กับ Robotic Process Automation (RPA) - ใช้งานง่าย: ผู้ใช้สามารถอธิบายสิ่งที่ต้องการเป็นภาษาธรรมชาติ โดยไม่ต้องเขียนโค้ด - มีความฉลาด: AI สามารถมองเห็นหน้าจอและตัดสินใจได้แบบเรียลไทม์ - มีประวัติการใช้งาน: ผู้ใช้สามารถดู ภาพหน้าจอและขั้นตอนการทำงานย้อนหลัง ✅ Microsoft อาจใช้เทคโนโลยีเดียวกับ OpenAI Operator - OpenAI เปิดตัว Operator ซึ่งใช้โมเดล Computer-Using Agent (CUA) ที่รวม GPT-4o กับ Reinforcement Learning - Microsoft อาจนำเทคโนโลยีเดียวกันมาใช้ใน “Computer Use” ℹ️ ผลกระทบต่อการทำงานของ AI ในองค์กร - AI ที่สามารถโต้ตอบกับแอปพลิเคชันโดยตรงอาจ ลดความจำเป็นในการพัฒนา API เฉพาะทาง ℹ️ ความท้าทายในการรักษาความปลอดภัย - แม้ข้อมูลจะถูกเก็บไว้ใน Microsoft Cloud แต่ต้องติดตามว่า มีมาตรการป้องกันการเข้าถึงโดยไม่ได้รับอนุญาตหรือไม่ ℹ️ แนวโน้มของ AI ที่สามารถใช้คอมพิวเตอร์ได้เหมือนมนุษย์ - หากเทคโนโลยีนี้พัฒนาไปไกล อาจนำไปสู่ AI ที่สามารถทำงานแทนมนุษย์ในระบบที่ซับซ้อนมากขึ้น https://www.neowin.net/news/microsofts-copilot-studio-gets-a-boost-with-computer-use-tool/