บริษัทสตาร์ทอัพด้านเทคโนโลยี d-Matrix ซึ่งได้รับการสนับสนุนจาก Microsoft ได้พัฒนาโซลูชันใหม่สำหรับการประมวลผลโมเดลภาษาขนาดใหญ่ (LLMs) โดยใช้หน่วยความจำที่เร็วที่สุดที่มีอยู่ในปัจจุบัน ผลิตภัณฑ์ของพวกเขาคือการ์ด PCIe ที่มีชื่อว่า Corsair ซึ่งมีหน่วยความจำ SRAM ขนาด 2GB และพลังการประมวลผล 10PFLOPs FP4 Corsair ใช้สถาปัตยกรรมที่เรียกว่า compute-in-memory ซึ่งช่วยให้การประมวลผลเกิดขึ้นภายในหน่วยความจำโดยตรง ทำให้สามารถลดปัญหาคอขวดที่เกิดจากการประมวลผลแบบดั้งเดิม นอกจากนี้ Corsair ยังใช้หน่วยความจำ LPDDR5 แทนที่จะเป็น HBM ที่มีราคาแพงกว่า ทำให้มีประสิทธิภาพด้านพลังงานและต้นทุนที่ดีกว่า Sree Ganesan หัวหน้าฝ่ายผลิตภัณฑ์ของ d-Matrix กล่าวว่าโซลูชันนี้ช่วยแก้ปัญหาคอขวดของหน่วยความจำที่เกิดขึ้นกับสถาปัตยกรรมที่มีอยู่ในปัจจุบัน โดยการประมวลผลเกิดขึ้นภายในหน่วยความจำและสามารถใช้ประโยชน์จากแบนด์วิดท์ที่สูงมาก CEO Sid Sheth ของ d-Matrix กล่าวว่าบริษัทก่อตั้งขึ้นในปี 2019 หลังจากได้รับข้อเสนอแนะจาก hyperscalers ว่าการประมวลผลแบบ inference จะเป็นอนาคตของการประมวลผล AI. Corsair กำลังเข้าสู่การผลิตในไตรมาสที่ 2 ของปี 2025 และ d-Matrix กำลังวางแผนพัฒนา ASIC รุ่นต่อไปที่ชื่อว่า Raptor ซึ่งจะรวม DRAM แบบ 3D-stacked เพื่อรองรับการประมวลผลที่ซับซ้อนมากขึ้น https://www.techradar.com/pro/tech-startup-proposes-a-novel-way-to-tackle-massive-llms-using-the-fastest-memory-available-to-mankind