🧠⚙️ Intel เปิดตัว LLM Scaler v1.0: ยกระดับ AI บน Arc Pro ด้วย Project Battlematrix ในงาน Computex 2025 Intel ได้เปิดตัว Project Battlematrix ซึ่งเป็นแพลตฟอร์มแบบครบวงจรสำหรับงาน inference ด้วย GPU Arc Pro หลายตัว โดยล่าสุดได้ปล่อยซอฟต์แวร์เวอร์ชันแรก LLM Scaler v1.0 ที่มาพร้อมการปรับแต่งประสิทธิภาพอย่างหนัก LLM Scaler v1.0 ถูกออกแบบมาเพื่อรันบน Linux โดยรองรับการทำงานแบบ multi-GPU และการส่งข้อมูลผ่าน PCIe แบบ P2P ซึ่งช่วยเพิ่มประสิทธิภาพได้สูงสุดถึง 80% เมื่อเทียบกับเวอร์ชันก่อนหน้า ฟีเจอร์เด่น ได้แก่: - การปรับแต่ง vLLM สำหรับ input ยาวถึง 40K tokens - การลดการใช้หน่วยความจำ GPU ด้วย quantization แบบชั้นต่อชั้น - รองรับ speculative decoding และ torch.compile แบบ experimental - รองรับ embedding, rerank model และ multi-modal model - ระบบจัดการ GPU ผ่าน XPU Manager ที่สามารถอัปเดต firmware และตรวจสอบ bandwidth ได้ Intel ยังวางแผนออก container รุ่น hardened ภายในไตรมาสนี้ และปล่อยเวอร์ชันเต็มใน Q4 ซึ่งจะรองรับการใช้งานระดับองค์กรอย่างเต็มรูปแบบ ✅ Intel เปิดตัว LLM Scaler v1.0 สำหรับ Project Battlematrix ➡️ เป็น container สำหรับ inference บน Arc Pro GPU หลายตัว ✅ รองรับ multi-GPU scaling และ PCIe P2P data transfer ➡️ เพิ่มประสิทธิภาพสูงสุดถึง 80% ✅ ปรับแต่ง vLLM สำหรับ input ยาวถึง 40K tokens ➡️ ได้ผลลัพธ์เร็วขึ้นถึง 4.2 เท่าสำหรับโมเดล 70B ✅ มีฟีเจอร์ใหม่ เช่น quantization, speculative decoding, torch.compile ➡️ ลดการใช้หน่วยความจำและเพิ่มความเร็วในการประมวลผล ✅ รองรับ embedding, rerank model และ multi-modal model ➡️ ขยายขอบเขตการใช้งาน AI ได้หลากหลาย ✅ มีระบบ XPU Manager สำหรับจัดการ GPU ➡️ ตรวจสอบพลังงาน, bandwidth และอัปเดต firmware ได้ ✅ เตรียมปล่อย container รุ่น hardened และ full feature set ภายในปีนี้ ➡️ รองรับการใช้งานระดับองค์กรและงาน inference ขนาดใหญ่ ✅ Arc Pro B-Series รองรับการใช้งานร่วมกันสูงสุด 8 GPU ➡️ ให้ VRAM รวมถึง 192GB สำหรับโมเดลขนาด 70B+ ✅ ใช้เทคโนโลยี oneAPI และ Level Zero ใน software stack ➡️ ช่วยให้พัฒนาและปรับแต่งได้ง่ายขึ้น ✅ มีการใช้ ECC, SRIOV และ telemetry สำหรับความเสถียรระดับองค์กร ➡️ ลดความเสี่ยงจากการทำงานผิดพลาด ✅ Intel ตั้งเป้าสร้างแพลตฟอร์ม inference ที่แข่งขันกับ Nvidia ได้ ➡️ โดยเน้นความเปิดกว้างและประสิทธิภาพที่คุ้มค่า ‼️ ฟีเจอร์บางอย่างยังอยู่ในสถานะ experimental ⛔ เช่น torch.compile และ speculative decoding อาจยังไม่เสถียร ‼️ การใช้ multi-GPU ต้องการระบบที่รองรับ PCIe P2P อย่างเหมาะสม ⛔ หากระบบไม่รองรับ อาจไม่ได้ประสิทธิภาพตามที่ระบุ ‼️ Container รุ่นแรกอาจยังไม่เหมาะกับงาน production ขนาดใหญ่ ⛔ ต้องรอรุ่น hardened และ full feature set ใน Q4 ‼️ การเปลี่ยนมาใช้ Arc Pro อาจต้องปรับระบบจาก Nvidia เดิม ⛔ เสี่ยงต่อความไม่เข้ากันกับเครื่องมือหรือเฟรมเวิร์กที่ใช้อยู่ https://wccftech.com/intel-project-battlematrix-arc-pro-gpus-first-major-software-update-llm-scaler-v1-0-massive-performance-uplift-enhanced-support/