🚀 “JetStream จาก d-Matrix: การ์ด I/O ที่เปลี่ยนเกม AI inference ให้เร็วขึ้น 10 เท่า!” ลองจินตนาการว่าคุณกำลังรันโมเดล AI ขนาดมหึมา เช่น Llama70B หรือ GPT-4 บนเซิร์ฟเวอร์หลายเครื่องพร้อมกัน แล้วพบว่าแม้จะมีชิปประมวลผลแรงแค่ไหน ก็ยังติดคอขวดที่ระบบเครือข่าย — นั่นคือปัญหาที่ JetStream จาก d-Matrix เข้ามาแก้แบบตรงจุด JetStream คือการ์ด I/O แบบ PCIe Gen5 ที่ออกแบบมาเพื่อเร่งความเร็วการสื่อสารระหว่างเซิร์ฟเวอร์ในงาน AI inference โดยเฉพาะ โดยสามารถส่งข้อมูลได้สูงสุดถึง 400Gbps และทำงานร่วมกับ Corsair compute accelerator และ Aviator software ของ d-Matrix ได้อย่างไร้รอยต่อ จุดเด่นของ JetStream คือการเป็น “Transparent NIC” ที่ใช้การสื่อสารแบบ peer-to-peer ระหว่างอุปกรณ์โดยไม่ต้องผ่าน CPU หรือระบบปฏิบัติการ — ลด latency ได้อย่างมหาศาล และทำให้การ inference ข้ามเครื่องเป็นไปอย่างลื่นไหล เมื่อใช้งานร่วมกับ Corsair และ Aviator แล้ว JetStream สามารถเพิ่มความเร็วได้ถึง 10 เท่า ลดต้นทุนต่อคำตอบ (cost-per-token) ได้ 3 เท่า และประหยัดพลังงานได้อีก 3 เท่า เมื่อเทียบกับระบบที่ใช้ GPU แบบเดิมในการ inference โมเดลขนาด 100B+ parameters ที่สำคัญคือ JetStream ใช้พอร์ต Ethernet มาตรฐานทั่วไป ทำให้สามารถติดตั้งใน data center ที่มีอยู่แล้วได้ทันที โดยไม่ต้องเปลี่ยนโครงสร้างเครือข่าย — ถือเป็นการออกแบบที่ “พร้อมใช้งานจริง” ไม่ใช่แค่แนวคิดในห้องแล็บ ✅ JetStream คืออะไร ➡️ เป็นการ์ด I/O แบบ PCIe Gen5 ที่ออกแบบเพื่อ AI inference โดยเฉพาะ ➡️ รองรับความเร็วสูงสุด 400Gbps ต่อการ์ด ➡️ ทำงานร่วมกับ Corsair accelerator และ Aviator software ของ d-Matrix ➡️ ใช้การสื่อสารแบบ peer-to-peer โดยไม่ผ่าน CPU หรือ OS ✅ ประสิทธิภาพที่ได้จาก JetStream ➡️ เพิ่มความเร็วการ inference ได้ถึง 10 เท่า ➡️ ลดต้นทุนต่อคำตอบได้ 3 เท่า ➡️ ประหยัดพลังงานได้ 3 เท่า เมื่อเทียบกับ GPU-based solutions ➡️ รองรับโมเดลขนาดใหญ่กว่า 100B parameters เช่น Llama70B ✅ การติดตั้งและใช้งาน ➡️ มาในรูปแบบ PCIe full-height card ขนาดมาตรฐาน ➡️ ใช้พอร์ต Ethernet ทั่วไป — ไม่ต้องเปลี่ยนโครงสร้าง data center ➡️ เหมาะกับการใช้งานใน hyperscale cloud และ private cloud ➡️ ตัวอย่างพร้อมใช้งานแล้ว และจะเริ่มผลิตจริงภายในสิ้นปี 2025 ✅ ข้อมูลเสริมจากภายนอก ➡️ d-Matrix เป็นผู้บุกเบิกด้าน Digital In-Memory Computing (DIMC) ➡️ Corsair ใช้สถาปัตยกรรม chiplet ที่ออกแบบมาเพื่อ inference โดยเฉพาะ ➡️ Aviator เป็น software stack ที่ช่วยจัดการ pipeline inference แบบ multi-node ➡️ JetStream ช่วยลด bottleneck ด้านเครือข่ายที่มักเกิดในงาน AI ขนาดใหญ่ https://www.techpowerup.com/340786/d-matrix-announces-jetstream-i-o-accelerators-enabling-ultra-low-latency-for-ai-inference-at-scale