MangoBoost และ AMD Instinct MI300X GPUs สร้างสถิติใหม่ในมาตรฐาน MLPerf Inference ด้วยผลลัพธ์ที่เหนือกว่าระบบ H100 จาก NVIDIA ทั้งในด้านประสิทธิภาพและต้นทุน ซอฟต์แวร์ Mango LLMBoost ไม่เพียงแต่รองรับการวิเคราะห์ AI ที่รวดเร็วเท่านั้น แต่ยังใช้งานได้ง่ายทั้งในองค์กรและคลาวด์ ความร่วมมือระหว่าง MangoBoost และ AMD ผลักดันให้เกิดการพัฒนาโครงสร้างพื้นฐาน AI ที่คุ้มค่าและทรงพลังที่สุดในตลาด ✅ ประสิทธิภาพที่เหนือชั้น - Mango LLMBoost ทำได้ถึง 103,182 tokens ต่อวินาที (TPS) ในโหมด offline inference และ 93,039 TPS ในโหมด server inference - ผลลัพธ์เหล่านี้เหนือกว่าการใช้ NVIDIA H100 GPUs ซึ่งทำได้ 82,749 TPS ในการเปรียบเทียบเดียวกัน ✅ ประหยัดค่าใช้จ่ายสูงถึง 62% - AMD MI300X GPUs มีราคาต่ำกว่า NVIDIA H100 GPUs อย่างมีนัยสำคัญ โดยอยู่ที่ $15,000–$17,000 เมื่อเทียบกับ $32,000–$40,000 - Mango LLMBoost + MI300X ยังสร้างประสิทธิภาพการวิเคราะห์ต่อ 1,000 ดอลลาร์ สูงกว่า H100-based system ถึง 2.8 เท่า ✅ ซอฟต์แวร์ MLOps ที่ปรับขนาดและใช้งานง่าย - Mango LLMBoost สนับสนุนโมเดล AI มากกว่า 50 โมเดล เช่น Llama, DeepSeek และ Qwen - สามารถใช้งานได้ทั้ง บนคลาวด์และเซิร์ฟเวอร์องค์กร พร้อมระบบ deployment ที่ง่ายเพียง คำสั่งเดียวใน Docker ความร่วมมือกับ AMD และก้าวต่อไปของ MangoBoost: ✅ การใช้ ROCm Software Stack - MangoBoost ร่วมมือกับ AMD เพื่อผลักดันขีดความสามารถของ MI300X GPUs ในการใช้งานแบบ multi-node clusters ✅ ความคุ้มค่าด้าน AI Infrastructure - MangoBoost ยังมีโซลูชันเสริม เช่น Mango GPUBoost สำหรับงาน training และ inference แบบ multi-node และ Mango StorageBoost สำหรับการจัดการระบบจัดเก็บข้อมูล AI https://www.techpowerup.com/335079/mangoboost-achieves-record-breaking-mlperf-inference-v5-0-results-with-amd-instinct-mi300x