“NVIDIA Blackwell Ultra GB300 ทำลายสถิติ MLPerf — เร็วขึ้น 45% ใน DeepSeek R1 พร้อมเทคนิคใหม่ที่เปลี่ยนเกม AI inference”
NVIDIA ประกาศความสำเร็จครั้งใหญ่ในการทดสอบ MLPerf v5.1 โดยชิป Blackwell Ultra GB300 NVL72 rack-scale system สามารถทำความเร็วในการประมวลผล inference ได้สูงกว่ารุ่นก่อนหน้า GB200 ถึง 45% ในโมเดล DeepSeek R1 ซึ่งเป็นหนึ่งในโมเดล AI ขนาดใหญ่ที่ซับซ้อนที่สุดในปัจจุบัน
ความสำเร็จนี้เกิดจากการผสานระหว่างฮาร์ดแวร์ที่ทรงพลังและการปรับแต่งซอฟต์แวร์อย่างลึกซึ้ง โดย GB300 ใช้ tensor core ที่มีประสิทธิภาพสูงขึ้นถึง 2 เท่าในส่วน attention-layer และเพิ่ม FLOPS ด้าน AI compute อีก 1.5 เท่า พร้อมหน่วยความจำ HBM3e สูงสุด 288GB ต่อ GPU
ในด้านซอฟต์แวร์ NVIDIA ใช้ฟอร์แมต NVFP4 ซึ่งเป็น floating point แบบ 4-bit ที่ออกแบบมาเฉพาะสำหรับงาน AI reasoning โดยสามารถลดขนาดโมเดลและเพิ่ม throughput ได้โดยไม่เสียความแม่นยำ นอกจากนี้ยังใช้เทคนิคการ “shard” โมเดล Llama 3.1 405B ข้ามหลาย GPU เพื่อเพิ่มประสิทธิภาพโดยไม่เพิ่ม latency
ระบบ GB300 NVL72 ยังมีแบนด์วิดท์รวมถึง 130 TBps ด้วย NVLink fabric ความเร็ว 1.8 TBps ระหว่าง GPU แต่ละตัว ทำให้สามารถสื่อสารกันได้อย่างรวดเร็วและไม่มีคอขวด
ทั้งหมดนี้เป็นส่วนหนึ่งของแนวคิด “AI Factory” ที่ NVIDIA ผลักดัน โดยเชื่อว่าการเพิ่ม throughput ในการประมวลผล AI จะช่วยเพิ่มรายได้ ลดต้นทุน และทำให้ระบบมีประสิทธิภาพสูงสุดในยุคที่ข้อมูลกลายเป็นสินทรัพย์หลัก
ความสามารถของ Blackwell Ultra GB300
เพิ่มความเร็ว inference ใน DeepSeek R1 ได้ถึง 45% เมื่อเทียบกับ GB200
เร็วกว่า Hopper GPU รุ่นก่อนหน้าถึง 5 เท่า
ใช้ tensor core ที่มี 2X attention-layer acceleration และ 1.5X AI compute FLOPS
หน่วยความจำ HBM3e สูงสุด 288GB ต่อ GPU
เทคนิคซอฟต์แวร์ที่ใช้
ใช้ NVFP4 format เพื่อลดขนาดโมเดลและเพิ่ม throughput
ใช้ TensorRT Model Optimizer และ TensorRT-LLM library เพื่อปรับแต่งโมเดล
shard โมเดล Llama 3.1 405B ข้ามหลาย GPU เพื่อเพิ่มประสิทธิภาพ
ใช้ NVLink fabric ความเร็ว 1.8 TBps ระหว่าง GPU รวมเป็น 130 TBps
ผลการทดสอบ MLPerf v5.1
GB300 NVL72 ทำลายสถิติใน DeepSeek R1, Llama 3.1 405B, Llama 3.1 8B และ Whisper
เพิ่ม throughput ต่อ GPU ได้เกือบ 50% ด้วยเทคนิค disaggregated serving
ลด latency และเพิ่มประสิทธิภาพในงาน interactive AI
เหมาะกับการใช้งานในระบบ AI Factory ที่ต้องการประมวลผลจำนวนมาก
ข้อมูลเสริมจากภายนอก
DeepSeek R1 เป็นโมเดล MoE ขนาด 671B parameter ที่ต้องใช้ compute สูงมาก
Whisper กลายเป็นโมเดลแปลงเสียงยอดนิยมบน HuggingFace ด้วยยอดดาวน์โหลดเกือบ 5 ล้านครั้ง
Llama 3.1 405B มีความต้องการด้าน latency และ throughput สูงกว่ารุ่นก่อน
Hopper GPU เริ่มล้าสมัยเมื่อเทียบกับ Blackwell Ultra ในงาน inference
https://www.tomshardware.com/pc-components/gpus/nvidia-claims-software-and-hardware-upgrades-allow-blackwell-ultra-gb300-to-dominate-mlperf-benchmarks-touts-45-percent-deepseek-r-1-inference-throughput-increase-over-gb200
NVIDIA ประกาศความสำเร็จครั้งใหญ่ในการทดสอบ MLPerf v5.1 โดยชิป Blackwell Ultra GB300 NVL72 rack-scale system สามารถทำความเร็วในการประมวลผล inference ได้สูงกว่ารุ่นก่อนหน้า GB200 ถึง 45% ในโมเดล DeepSeek R1 ซึ่งเป็นหนึ่งในโมเดล AI ขนาดใหญ่ที่ซับซ้อนที่สุดในปัจจุบัน
ความสำเร็จนี้เกิดจากการผสานระหว่างฮาร์ดแวร์ที่ทรงพลังและการปรับแต่งซอฟต์แวร์อย่างลึกซึ้ง โดย GB300 ใช้ tensor core ที่มีประสิทธิภาพสูงขึ้นถึง 2 เท่าในส่วน attention-layer และเพิ่ม FLOPS ด้าน AI compute อีก 1.5 เท่า พร้อมหน่วยความจำ HBM3e สูงสุด 288GB ต่อ GPU
ในด้านซอฟต์แวร์ NVIDIA ใช้ฟอร์แมต NVFP4 ซึ่งเป็น floating point แบบ 4-bit ที่ออกแบบมาเฉพาะสำหรับงาน AI reasoning โดยสามารถลดขนาดโมเดลและเพิ่ม throughput ได้โดยไม่เสียความแม่นยำ นอกจากนี้ยังใช้เทคนิคการ “shard” โมเดล Llama 3.1 405B ข้ามหลาย GPU เพื่อเพิ่มประสิทธิภาพโดยไม่เพิ่ม latency
ระบบ GB300 NVL72 ยังมีแบนด์วิดท์รวมถึง 130 TBps ด้วย NVLink fabric ความเร็ว 1.8 TBps ระหว่าง GPU แต่ละตัว ทำให้สามารถสื่อสารกันได้อย่างรวดเร็วและไม่มีคอขวด
ทั้งหมดนี้เป็นส่วนหนึ่งของแนวคิด “AI Factory” ที่ NVIDIA ผลักดัน โดยเชื่อว่าการเพิ่ม throughput ในการประมวลผล AI จะช่วยเพิ่มรายได้ ลดต้นทุน และทำให้ระบบมีประสิทธิภาพสูงสุดในยุคที่ข้อมูลกลายเป็นสินทรัพย์หลัก
ความสามารถของ Blackwell Ultra GB300
เพิ่มความเร็ว inference ใน DeepSeek R1 ได้ถึง 45% เมื่อเทียบกับ GB200
เร็วกว่า Hopper GPU รุ่นก่อนหน้าถึง 5 เท่า
ใช้ tensor core ที่มี 2X attention-layer acceleration และ 1.5X AI compute FLOPS
หน่วยความจำ HBM3e สูงสุด 288GB ต่อ GPU
เทคนิคซอฟต์แวร์ที่ใช้
ใช้ NVFP4 format เพื่อลดขนาดโมเดลและเพิ่ม throughput
ใช้ TensorRT Model Optimizer และ TensorRT-LLM library เพื่อปรับแต่งโมเดล
shard โมเดล Llama 3.1 405B ข้ามหลาย GPU เพื่อเพิ่มประสิทธิภาพ
ใช้ NVLink fabric ความเร็ว 1.8 TBps ระหว่าง GPU รวมเป็น 130 TBps
ผลการทดสอบ MLPerf v5.1
GB300 NVL72 ทำลายสถิติใน DeepSeek R1, Llama 3.1 405B, Llama 3.1 8B และ Whisper
เพิ่ม throughput ต่อ GPU ได้เกือบ 50% ด้วยเทคนิค disaggregated serving
ลด latency และเพิ่มประสิทธิภาพในงาน interactive AI
เหมาะกับการใช้งานในระบบ AI Factory ที่ต้องการประมวลผลจำนวนมาก
ข้อมูลเสริมจากภายนอก
DeepSeek R1 เป็นโมเดล MoE ขนาด 671B parameter ที่ต้องใช้ compute สูงมาก
Whisper กลายเป็นโมเดลแปลงเสียงยอดนิยมบน HuggingFace ด้วยยอดดาวน์โหลดเกือบ 5 ล้านครั้ง
Llama 3.1 405B มีความต้องการด้าน latency และ throughput สูงกว่ารุ่นก่อน
Hopper GPU เริ่มล้าสมัยเมื่อเทียบกับ Blackwell Ultra ในงาน inference
https://www.tomshardware.com/pc-components/gpus/nvidia-claims-software-and-hardware-upgrades-allow-blackwell-ultra-gb300-to-dominate-mlperf-benchmarks-touts-45-percent-deepseek-r-1-inference-throughput-increase-over-gb200
🚀 “NVIDIA Blackwell Ultra GB300 ทำลายสถิติ MLPerf — เร็วขึ้น 45% ใน DeepSeek R1 พร้อมเทคนิคใหม่ที่เปลี่ยนเกม AI inference”
NVIDIA ประกาศความสำเร็จครั้งใหญ่ในการทดสอบ MLPerf v5.1 โดยชิป Blackwell Ultra GB300 NVL72 rack-scale system สามารถทำความเร็วในการประมวลผล inference ได้สูงกว่ารุ่นก่อนหน้า GB200 ถึง 45% ในโมเดล DeepSeek R1 ซึ่งเป็นหนึ่งในโมเดล AI ขนาดใหญ่ที่ซับซ้อนที่สุดในปัจจุบัน
ความสำเร็จนี้เกิดจากการผสานระหว่างฮาร์ดแวร์ที่ทรงพลังและการปรับแต่งซอฟต์แวร์อย่างลึกซึ้ง โดย GB300 ใช้ tensor core ที่มีประสิทธิภาพสูงขึ้นถึง 2 เท่าในส่วน attention-layer และเพิ่ม FLOPS ด้าน AI compute อีก 1.5 เท่า พร้อมหน่วยความจำ HBM3e สูงสุด 288GB ต่อ GPU
ในด้านซอฟต์แวร์ NVIDIA ใช้ฟอร์แมต NVFP4 ซึ่งเป็น floating point แบบ 4-bit ที่ออกแบบมาเฉพาะสำหรับงาน AI reasoning โดยสามารถลดขนาดโมเดลและเพิ่ม throughput ได้โดยไม่เสียความแม่นยำ นอกจากนี้ยังใช้เทคนิคการ “shard” โมเดล Llama 3.1 405B ข้ามหลาย GPU เพื่อเพิ่มประสิทธิภาพโดยไม่เพิ่ม latency
ระบบ GB300 NVL72 ยังมีแบนด์วิดท์รวมถึง 130 TBps ด้วย NVLink fabric ความเร็ว 1.8 TBps ระหว่าง GPU แต่ละตัว ทำให้สามารถสื่อสารกันได้อย่างรวดเร็วและไม่มีคอขวด
ทั้งหมดนี้เป็นส่วนหนึ่งของแนวคิด “AI Factory” ที่ NVIDIA ผลักดัน โดยเชื่อว่าการเพิ่ม throughput ในการประมวลผล AI จะช่วยเพิ่มรายได้ ลดต้นทุน และทำให้ระบบมีประสิทธิภาพสูงสุดในยุคที่ข้อมูลกลายเป็นสินทรัพย์หลัก
✅ ความสามารถของ Blackwell Ultra GB300
➡️ เพิ่มความเร็ว inference ใน DeepSeek R1 ได้ถึง 45% เมื่อเทียบกับ GB200
➡️ เร็วกว่า Hopper GPU รุ่นก่อนหน้าถึง 5 เท่า
➡️ ใช้ tensor core ที่มี 2X attention-layer acceleration และ 1.5X AI compute FLOPS
➡️ หน่วยความจำ HBM3e สูงสุด 288GB ต่อ GPU
✅ เทคนิคซอฟต์แวร์ที่ใช้
➡️ ใช้ NVFP4 format เพื่อลดขนาดโมเดลและเพิ่ม throughput
➡️ ใช้ TensorRT Model Optimizer และ TensorRT-LLM library เพื่อปรับแต่งโมเดล
➡️ shard โมเดล Llama 3.1 405B ข้ามหลาย GPU เพื่อเพิ่มประสิทธิภาพ
➡️ ใช้ NVLink fabric ความเร็ว 1.8 TBps ระหว่าง GPU รวมเป็น 130 TBps
✅ ผลการทดสอบ MLPerf v5.1
➡️ GB300 NVL72 ทำลายสถิติใน DeepSeek R1, Llama 3.1 405B, Llama 3.1 8B และ Whisper
➡️ เพิ่ม throughput ต่อ GPU ได้เกือบ 50% ด้วยเทคนิค disaggregated serving
➡️ ลด latency และเพิ่มประสิทธิภาพในงาน interactive AI
➡️ เหมาะกับการใช้งานในระบบ AI Factory ที่ต้องการประมวลผลจำนวนมาก
✅ ข้อมูลเสริมจากภายนอก
➡️ DeepSeek R1 เป็นโมเดล MoE ขนาด 671B parameter ที่ต้องใช้ compute สูงมาก
➡️ Whisper กลายเป็นโมเดลแปลงเสียงยอดนิยมบน HuggingFace ด้วยยอดดาวน์โหลดเกือบ 5 ล้านครั้ง
➡️ Llama 3.1 405B มีความต้องการด้าน latency และ throughput สูงกว่ารุ่นก่อน
➡️ Hopper GPU เริ่มล้าสมัยเมื่อเทียบกับ Blackwell Ultra ในงาน inference
https://www.tomshardware.com/pc-components/gpus/nvidia-claims-software-and-hardware-upgrades-allow-blackwell-ultra-gb300-to-dominate-mlperf-benchmarks-touts-45-percent-deepseek-r-1-inference-throughput-increase-over-gb200
0 ความคิดเห็น
0 การแบ่งปัน
76 มุมมอง
0 รีวิว
English