ช่องโหว่ Sora 2 ของ OpenAI ถูกเปิดเผยโดย Mindgard
อีกข่าวที่น่าสนใจคือการค้นพบช่องโหว่ใน Sora 2 เครื่องมือสร้างวิดีโอของ OpenAI โดยบริษัทด้านความปลอดภัย AI ชื่อ Mindgard พบว่าสามารถทำให้โมเดล “พูดออกมา” ถึง System Prompt หรือกฎภายในที่ควรจะถูกซ่อนอยู่ ซึ่งถือเป็นการรั่วไหลข้อมูลเชิงลึกของโมเดล
ทีมวิจัยใช้วิธีให้ Sora 2 สร้างเสียงพูดสั้น ๆ แล้วนำ transcript มาต่อกันจนได้ชุดคำสั่งภายในที่สมบูรณ์กว่าการใช้ภาพหรือวิดีโอ วิธีนี้ทำให้พวกเขาสามารถเข้าถึงกฎที่กำหนดไว้ เช่น การห้ามสร้างภาพเชิงลามกหรือเนื้อหาที่ไม่เหมาะสม การค้นพบนี้สะท้อนว่าแม้ AI จะถูกฝึกให้มีระบบป้องกัน แต่ก็ยังมีช่องทางที่ผู้เชี่ยวชาญสามารถเจาะทะลุได้
สิ่งที่น่าคิดคือ ช่องโหว่ลักษณะนี้อาจถูกใช้โดยผู้ไม่หวังดีเพื่อดัดแปลง AI ให้ทำงานผิดวัตถุประสงค์ หรือเปิดเผยข้อมูลที่ไม่ควรถูกเปิดเผย นักวิจัยจึงแนะนำให้บริษัทผู้พัฒนา AI ตรวจสอบการรั่วไหลในทุกช่องทาง ทั้งข้อความ ภาพ เสียง และวิดีโอ เพื่อป้องกันการโจมตีเชิงสร้างสรรค์ที่อาจเกิดขึ้นในอนาคต
การค้นพบช่องโหว่ใน Sora 2
Mindgard ใช้เสียงพูดเพื่อดึง System Prompt ออกมา
วิธีการเจาะระบบ
ใช้ transcript จากคลิปเสียงสั้น ๆ มาต่อกันจนได้ข้อมูลครบ
สิ่งที่เปิดเผยได้
กฎภายใน เช่น การห้ามสร้างภาพเชิงลามก
ความเสี่ยงจากการรั่วไหล
อาจถูกใช้เพื่อบังคับ AI ทำงานผิดวัตถุประสงค์
ข้อแนะนำจากผู้เชี่ยวชาญ
ต้องตรวจสอบการรั่วไหลในทุกช่องทาง (ข้อความ, ภาพ, เสียง, วิดีโอ)
https://hackread.com/mindgard-sora-2-vulnerability-prompt-via-audio/
อีกข่าวที่น่าสนใจคือการค้นพบช่องโหว่ใน Sora 2 เครื่องมือสร้างวิดีโอของ OpenAI โดยบริษัทด้านความปลอดภัย AI ชื่อ Mindgard พบว่าสามารถทำให้โมเดล “พูดออกมา” ถึง System Prompt หรือกฎภายในที่ควรจะถูกซ่อนอยู่ ซึ่งถือเป็นการรั่วไหลข้อมูลเชิงลึกของโมเดล
ทีมวิจัยใช้วิธีให้ Sora 2 สร้างเสียงพูดสั้น ๆ แล้วนำ transcript มาต่อกันจนได้ชุดคำสั่งภายในที่สมบูรณ์กว่าการใช้ภาพหรือวิดีโอ วิธีนี้ทำให้พวกเขาสามารถเข้าถึงกฎที่กำหนดไว้ เช่น การห้ามสร้างภาพเชิงลามกหรือเนื้อหาที่ไม่เหมาะสม การค้นพบนี้สะท้อนว่าแม้ AI จะถูกฝึกให้มีระบบป้องกัน แต่ก็ยังมีช่องทางที่ผู้เชี่ยวชาญสามารถเจาะทะลุได้
สิ่งที่น่าคิดคือ ช่องโหว่ลักษณะนี้อาจถูกใช้โดยผู้ไม่หวังดีเพื่อดัดแปลง AI ให้ทำงานผิดวัตถุประสงค์ หรือเปิดเผยข้อมูลที่ไม่ควรถูกเปิดเผย นักวิจัยจึงแนะนำให้บริษัทผู้พัฒนา AI ตรวจสอบการรั่วไหลในทุกช่องทาง ทั้งข้อความ ภาพ เสียง และวิดีโอ เพื่อป้องกันการโจมตีเชิงสร้างสรรค์ที่อาจเกิดขึ้นในอนาคต
การค้นพบช่องโหว่ใน Sora 2
Mindgard ใช้เสียงพูดเพื่อดึง System Prompt ออกมา
วิธีการเจาะระบบ
ใช้ transcript จากคลิปเสียงสั้น ๆ มาต่อกันจนได้ข้อมูลครบ
สิ่งที่เปิดเผยได้
กฎภายใน เช่น การห้ามสร้างภาพเชิงลามก
ความเสี่ยงจากการรั่วไหล
อาจถูกใช้เพื่อบังคับ AI ทำงานผิดวัตถุประสงค์
ข้อแนะนำจากผู้เชี่ยวชาญ
ต้องตรวจสอบการรั่วไหลในทุกช่องทาง (ข้อความ, ภาพ, เสียง, วิดีโอ)
https://hackread.com/mindgard-sora-2-vulnerability-prompt-via-audio/
🎙️ ช่องโหว่ Sora 2 ของ OpenAI ถูกเปิดเผยโดย Mindgard
อีกข่าวที่น่าสนใจคือการค้นพบช่องโหว่ใน Sora 2 เครื่องมือสร้างวิดีโอของ OpenAI โดยบริษัทด้านความปลอดภัย AI ชื่อ Mindgard พบว่าสามารถทำให้โมเดล “พูดออกมา” ถึง System Prompt หรือกฎภายในที่ควรจะถูกซ่อนอยู่ ซึ่งถือเป็นการรั่วไหลข้อมูลเชิงลึกของโมเดล
ทีมวิจัยใช้วิธีให้ Sora 2 สร้างเสียงพูดสั้น ๆ แล้วนำ transcript มาต่อกันจนได้ชุดคำสั่งภายในที่สมบูรณ์กว่าการใช้ภาพหรือวิดีโอ วิธีนี้ทำให้พวกเขาสามารถเข้าถึงกฎที่กำหนดไว้ เช่น การห้ามสร้างภาพเชิงลามกหรือเนื้อหาที่ไม่เหมาะสม การค้นพบนี้สะท้อนว่าแม้ AI จะถูกฝึกให้มีระบบป้องกัน แต่ก็ยังมีช่องทางที่ผู้เชี่ยวชาญสามารถเจาะทะลุได้
สิ่งที่น่าคิดคือ ช่องโหว่ลักษณะนี้อาจถูกใช้โดยผู้ไม่หวังดีเพื่อดัดแปลง AI ให้ทำงานผิดวัตถุประสงค์ หรือเปิดเผยข้อมูลที่ไม่ควรถูกเปิดเผย นักวิจัยจึงแนะนำให้บริษัทผู้พัฒนา AI ตรวจสอบการรั่วไหลในทุกช่องทาง ทั้งข้อความ ภาพ เสียง และวิดีโอ เพื่อป้องกันการโจมตีเชิงสร้างสรรค์ที่อาจเกิดขึ้นในอนาคต
✅ การค้นพบช่องโหว่ใน Sora 2
➡️ Mindgard ใช้เสียงพูดเพื่อดึง System Prompt ออกมา
✅ วิธีการเจาะระบบ
➡️ ใช้ transcript จากคลิปเสียงสั้น ๆ มาต่อกันจนได้ข้อมูลครบ
✅ สิ่งที่เปิดเผยได้
➡️ กฎภายใน เช่น การห้ามสร้างภาพเชิงลามก
‼️ ความเสี่ยงจากการรั่วไหล
⛔ อาจถูกใช้เพื่อบังคับ AI ทำงานผิดวัตถุประสงค์
‼️ ข้อแนะนำจากผู้เชี่ยวชาญ
⛔ ต้องตรวจสอบการรั่วไหลในทุกช่องทาง (ข้อความ, ภาพ, เสียง, วิดีโอ)
https://hackread.com/mindgard-sora-2-vulnerability-prompt-via-audio/
0 Comments
0 Shares
4 Views
0 Reviews