🎙️ เรื่องเล่าจาก Corsair และ Pavehawk: เมื่อการประมวลผล AI ไม่ต้องพึ่ง HBM อีกต่อไป ในยุคที่ HBM (High Bandwidth Memory) กลายเป็นหัวใจของการเทรนโมเดล AI ขนาดใหญ่ บริษัท D-Matrix กลับเลือกเดินเส้นทางที่ต่างออกไป—โดยมุ่งเน้นไปที่ “AI inference” ซึ่งเป็นภาระงานที่กำลังกลายเป็นศูนย์กลางของการใช้งานจริงในองค์กร แทนที่จะใช้ HBM ที่มีราคาสูงและ supply จำกัด D-Matrix พัฒนา Corsair ซึ่งเป็น inference accelerator แบบ chiplet ที่ใช้ LPDDR5 ขนาด 256GB และ SRAM 2GB ร่วมกับสถาปัตยกรรมใหม่ที่เรียกว่า 3DIMC (3D Digital In-Memory Compute) เทคโนโลยีนี้ถูกนำไปใช้ใน Pavehawk ซึ่งเป็นซิลิคอนรุ่นใหม่ที่ใช้ logic die จาก TSMC N5 และ DRAM แบบ stacked หลายชั้น เพื่อให้ compute และ memory อยู่ใกล้กันมากที่สุด ลด latency และพลังงานที่ใช้ในการเคลื่อนย้ายข้อมูล D-Matrix อ้างว่า Pavehawk มี bandwidth และ energy efficiency ต่อ stack สูงกว่า HBM4 ถึง 10 เท่า และสามารถขยายความจุได้มากกว่าด้วยต้นทุนที่ต่ำกว่า ทำให้เหมาะกับการ deploy ใน data center ที่ต้องการ inference ขนาดใหญ่แต่ไม่สามารถจ่ายราคาของ HBM ได้ แนวคิดนี้ยังสอดคล้องกับเทรนด์ของอุตสาหกรรมที่เริ่มหันมาใช้ interconnect แบบ CXL และการรวม controller เข้ากับ accelerator เพื่อให้ compute และ memory ทำงานร่วมกันได้อย่างแนบแน่น ✅ แนวทางของ D-Matrix ในการออกแบบ inference accelerator ➡️ Corsair ใช้ LPDDR5 256GB + SRAM 2GB แบบ chiplet-based ➡️ ไม่ใช้ HBM แต่เน้นการ co-package ระหว่าง compute และ memory ➡️ เหมาะกับ AI inference ที่ต้องการประสิทธิภาพสูงแต่ต้นทุนต่ำ ✅ เทคโนโลยี 3DIMC และ Pavehawk ➡️ ใช้ logic die จาก TSMC N5 ร่วมกับ DRAM แบบ stacked หลายชั้น ➡️ ลด latency และพลังงานในการเคลื่อนย้ายข้อมูล ➡️ ให้ bandwidth และ energy efficiency สูงกว่า HBM4 ถึง 10 เท่า ✅ บริบทของอุตสาหกรรม AI ➡️ Inference กำลังกลายเป็น workload หลักขององค์กร (คาดว่าจะเกิน 85% ภายใน 2–3 ปี) ➡️ HBM มีราคาสูงและ supply จำกัด โดยเฉพาะสำหรับบริษัทขนาดเล็ก ➡️ การรวม compute และ memory เป็นแนวทางที่หลายบริษัทเริ่มทดลอง เช่น CXL-based accelerator ✅ จุดเด่นของแนวคิด stacked DRAM + logic ➡️ เพิ่มความจุและ bandwidth ได้โดยไม่ต้องใช้ HBM ➡️ ลดต้นทุนและพลังงานในระดับ data center ➡️ เหมาะกับการ deploy inference ที่ต้องการ scale แบบประหยัด https://www.techradar.com/pro/security/after-sandisk-d-matrix-is-proposing-an-intriguing-alternative-to-the-big-hbm-ai-puzzle-with-10x-better-performance-with-10x-better-energy-efficiency