“Solidigm āđāļāļīāļāļāļąāļ§āļāļĨāļąāļŠāđāļāļāļĢāđ SSD āļāļāļēāļ 23.6PB āđāļāļāļ·āđāļāļāļĩāđāđāļāđ 16U — āļāļĨāļāļĨāđāļāļāļĻāļąāļāļĒāļ āļēāļ AI āļāđāļ§āļĒāļāļ§āļēāļĄāļŦāļāļēāđāļāđāļāļĢāļ°āļāļąāļāđāļŦāļĄāđ”
Solidigm āļāļĢāļīāļĐāļąāļāđāļāđāļāļĢāļ·āļ SK hynix āļāļĩāđāđāļāļĩāđāļĒāļ§āļāļēāļāļāđāļēāļāļāļēāļĢāļāļąāļāđāļāđāļāļāđāļāļĄāļđāļĨāļĢāļ°āļāļąāļāļāļāļāđāļāļĢ āđāļāđāđāļāļīāļāļāļąāļ§ AI Central Lab āļāļĩāđāđāļĄāļ·āļāļ Rancho Cordova āļĢāļąāļāđāļāļĨāļīāļāļāļĢāđāđāļāļĩāļĒ āļāļķāđāļāđāļāđāļāļĻāļđāļāļĒāđāļāļāļŠāļāļāļĢāļ°āļāļāļāļąāļāđāļāđāļāļāđāļāļĄāļđāļĨāļāļĩāđāļĄāļĩāļāļ§āļēāļĄāļŦāļāļēāđāļāđāļāļŠāļđāļāļāļĩāđāļŠāļļāļāđāļāđāļēāļāļĩāđāđāļāļĒāļĄāļĩāļĄāļē āđāļāļĒāđāļāđ SSD āļāļāļēāļ 122TB āļāļģāļāļ§āļ 192 āļāļąāļ§ āļĢāļ§āļĄāđāļāđāļāļāļĨāļąāļŠāđāļāļāļĢāđāļāļāļēāļ 23.6PB āđāļāļāļ·āđāļāļāļĩāđāđāļāļĩāļĒāļ 16U āļāļāļāđāļĢāđāļāđāļāļīāļĢāđāļāđāļ§āļāļĢāđ
āļāļĨāļąāļŠāđāļāļāļĢāđāļāļĩāđāđāļāđ SSD āļĢāļļāđāļ D5-P5336 āļŠāļģāļŦāļĢāļąāļāļāļ§āļēāļĄāļāļļ āđāļĨāļ° D7-PS1010 āļŠāļģāļŦāļĢāļąāļāļāļ§āļēāļĄāđāļĢāđāļ§ āđāļāļĒāļŠāļēāļĄāļēāļĢāļāļāļģ throughput āđāļāđāļŠāļđāļāļāļķāļ 116GB/s āļāđāļ node āđāļāļāļēāļĢāļāļāļŠāļāļ MLPerf Storage āļāļķāđāļāđāļāđāļāļĄāļēāļāļĢāļāļēāļāļŠāļģāļŦāļĢāļąāļāļāļēāļāļāļķāļāđāļĄāđāļāļĨ AI āđāļĄāđāļāļ°āđāļāđāļāļāļēāļĢāļāļāļŠāļāļāđāļāļ synthetic āđāļāđāļāđāđāļŠāļāļāđāļŦāđāđāļŦāđāļāļāļķāļāļĻāļąāļāļĒāļ āļēāļāļāļāļāļĢāļ°āļāļāđāļāļāļēāļĢāļĢāļāļāļĢāļąāļāļāļēāļ AI āļāļĩāđāļāđāļāļāļāļēāļĢāļāļ§āļēāļĄāđāļĢāđāļ§āđāļāļāļēāļĢāđāļāđāļēāļāļķāļāļāđāļāļĄāļđāļĨāļŠāļđāļāļĄāļēāļ
AI Central Lab āļĒāļąāļāđāļāđ GPU āļĢāļ°āļāļąāļāļŠāļđāļāļāļĒāđāļēāļ NVIDIA B200 āđāļĨāļ° H200 āļāļĢāđāļāļĄāļĢāļ°āļāļāđāļāļĢāļ·āļāļāđāļēāļĒ Ethernet 800Gbps āđāļāļ·āđāļāļāļģāļĨāļāļāļŠāļ āļēāļāđāļ§āļāļĨāđāļāļĄāļāļāļāļĻāļđāļāļĒāđāļāđāļāļĄāļđāļĨāļĒāļļāļāđāļŦāļĄāđ āđāļāļĒāļĄāļĩāđāļāđāļēāļŦāļĄāļēāļĒāđāļāļ·āđāļāļĻāļķāļāļĐāļēāļ§āđāļē “āļāļēāļĢāļāļąāļāđāļāđāļāļāđāļāļĄāļđāļĨāđāļāļĨāđ GPU” āļāļ°āļāđāļ§āļĒāđāļāļīāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļāļ AI āđāļāđāļĄāļēāļāđāļāđāđāļŦāļ
āļŦāļāļķāđāļāđāļāļāļ§āļēāļĄāļĢāđāļ§āļĄāļĄāļ·āļāļāļĩāđāļāđāļēāļŠāļāđāļāļāļ·āļāļāļąāļ Metrum AI āļāļķāđāļāļāļąāļāļāļēāđāļāļāļāļīāļāļāļēāļĢ offload āļāđāļāļĄāļđāļĨāļāļēāļ DRAM āđāļāļĒāļąāļ SSD āđāļāļ·āđāļāļĨāļāļāļēāļĢāđāļāđāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāļĨāļāļāļķāļ 57% āđāļāļāļēāļ inference āđāļāļ RAG (Retrieval-Augmented Generation) āļāļķāđāļāđāļāđāļāđāļāļāļāļīāļāļāļĩāđāļāļīāļĒāļĄāđāļāļāļēāļ AI āļŠāļĄāļąāļĒāđāļŦāļĄāđ
Solidigm āļĢāļ°āļāļļāļ§āđāļē AI Central Lab āđāļĄāđāđāļāđāđāļāđāļāļ·āđāļāļāļĩāđāļāļāļŠāļāļ āđāļāđāđāļāđāļāđāļ§āļāļĩāļŠāļģāļŦāļĢāļąāļāļāļ§āļąāļāļāļĢāļĢāļĄāļĢāđāļ§āļĄāļāļąāļāļāļąāļāļāļąāļāļāļēāđāļĨāļ°āļāļąāļāļāļĄāļīāļāļĢ āđāļāļ·āđāļāļŠāļĢāđāļēāļāļĢāļ°āļāļāļāļĩāđāļĄāļĩāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļŠāļđāļāļŠāļļāļāđāļāļāđāļēāļāļāļĨāļąāļāļāļēāļ āļāļ§āļēāļĄāđāļĢāđāļ§ āđāļĨāļ°āļāđāļāļāļļāļāļāđāļ token
āļāđāļāļĄāļđāļĨāļŠāļģāļāļąāļāļāļēāļāļāđāļēāļ§
Solidigm āđāļāļīāļāļāļąāļ§ AI Central Lab āļāļĩāđ Rancho Cordova, California
āđāļāđ SSD D5-P5336 āļāļāļēāļ 122TB āļāļģāļāļ§āļ 192 āļāļąāļ§ āļĢāļ§āļĄāđāļāđāļ 23.6PB āđāļāļāļ·āđāļāļāļĩāđ 16U
āđāļāđ SSD D7-PS1010 āļŠāļģāļŦāļĢāļąāļāļāļ§āļēāļĄāđāļĢāđāļ§ throughput āļŠāļđāļāļŠāļļāļ 116GB/s āļāđāļ node
āđāļāđ GPU NVIDIA B200 āđāļĨāļ° H200 āļāļĢāđāļāļĄāđāļāļĢāļ·āļāļāđāļēāļĒ Ethernet 800Gbps
āļāļāļŠāļāļāļāļēāļ AI āļāļĢāļīāļ āđāļāđāļ training, inference, KV cache offload āđāļĨāļ° VectorDB tuning
āļĢāđāļ§āļĄāļĄāļ·āļāļāļąāļ Metrum AI āđāļāļ·āđāļāļĨāļāļāļēāļĢāđāļāđ DRAM āļĨāļ 57% āļāđāļ§āļĒāļāļēāļĢ offload āđāļāļĒāļąāļ SSD
āļĻāļđāļāļĒāđāļāļĩāđāļāđāļ§āļĒāđāļāļĨāļāļŠāđāļāļ SSD āđāļŦāđāđāļāđāļ metric āļāļĩāđāđāļāđāđāļāļāļļāļāļŠāļēāļŦāļāļĢāļĢāļĄ āđāļāđāļ tokens per watt
Solidigm āđāļāđāļāļāļĢāļīāļĐāļąāļāđāļāđāļāļĢāļ·āļ SK hynix āļāļĩāđāđāļāđāļāđāļāļĨāļđāļāļąāļāļāļąāļāđāļāđāļāļāđāļāļĄāļđāļĨāļĢāļ°āļāļąāļāļāļāļāđāļāļĢ
āļāđāļāļĄāļđāļĨāđāļŠāļĢāļīāļĄāļāļēāļāļ āļēāļĒāļāļāļ
SSD āļāļāļēāļāđāļŦāļāđāļāđāļ§āļĒāļĨāļ latency āđāļĨāļ°āđāļāļīāđāļĄ throughput āđāļāļāļēāļ AI āļāļĩāđāđāļāđ GPU āļŦāļāļąāļ
MLPerf Storage āđāļāđāļ benchmark āļāļĩāđāđāļāđāļ§āļąāļāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļēāļĢāļāļąāļāđāļāđāļāļāđāļāļĄāļđāļĨāđāļāļāļēāļ AI
RAG āđāļāđāļāđāļāļāļāļīāļāļāļĩāđāđāļāđāļāđāļāļĄāļđāļĨāļ āļēāļĒāļāļāļāļĄāļēāļāđāļ§āļĒāļāļāļāļāļģāļāļēāļĄāđāļāđāļĄāđāļāļĨ AI
āļāļēāļĢāļāļąāļāđāļāđāļāļāđāļāļĄāļđāļĨāđāļāļĨāđ GPU āļāđāļ§āļĒāļĨāļ bottleneck āđāļĨāļ°āđāļāļīāđāļĄ utilization āļāļāļ accelerator
āļāļēāļĢāđāļāđ SSD āđāļāļ DRAM āļāđāļ§āļĒāļĨāļāļāđāļāļāļļāļāđāļĨāļ°āļāļĨāļąāļāļāļēāļāđāļāļĢāļ°āļāļāļāļāļēāļāđāļŦāļāđ
https://www.techradar.com/pro/solidigm-packed-usd2-7-million-worth-of-ssds-into-the-biggest-storage-cluster-ive-ever-seen-nearly-200-192tb-ssds-used-to-build-a-23-6pb-cluster-in-16u-rackspace ðĶ “Solidigm āđāļāļīāļāļāļąāļ§āļāļĨāļąāļŠāđāļāļāļĢāđ SSD āļāļāļēāļ 23.6PB āđāļāļāļ·āđāļāļāļĩāđāđāļāđ 16U — āļāļĨāļāļĨāđāļāļāļĻāļąāļāļĒāļ āļēāļ AI āļāđāļ§āļĒāļāļ§āļēāļĄāļŦāļāļēāđāļāđāļāļĢāļ°āļāļąāļāđāļŦāļĄāđ”
Solidigm āļāļĢāļīāļĐāļąāļāđāļāđāļāļĢāļ·āļ SK hynix āļāļĩāđāđāļāļĩāđāļĒāļ§āļāļēāļāļāđāļēāļāļāļēāļĢāļāļąāļāđāļāđāļāļāđāļāļĄāļđāļĨāļĢāļ°āļāļąāļāļāļāļāđāļāļĢ āđāļāđāđāļāļīāļāļāļąāļ§ AI Central Lab āļāļĩāđāđāļĄāļ·āļāļ Rancho Cordova āļĢāļąāļāđāļāļĨāļīāļāļāļĢāđāđāļāļĩāļĒ āļāļķāđāļāđāļāđāļāļĻāļđāļāļĒāđāļāļāļŠāļāļāļĢāļ°āļāļāļāļąāļāđāļāđāļāļāđāļāļĄāļđāļĨāļāļĩāđāļĄāļĩāļāļ§āļēāļĄāļŦāļāļēāđāļāđāļāļŠāļđāļāļāļĩāđāļŠāļļāļāđāļāđāļēāļāļĩāđāđāļāļĒāļĄāļĩāļĄāļē āđāļāļĒāđāļāđ SSD āļāļāļēāļ 122TB āļāļģāļāļ§āļ 192 āļāļąāļ§ āļĢāļ§āļĄāđāļāđāļāļāļĨāļąāļŠāđāļāļāļĢāđāļāļāļēāļ 23.6PB āđāļāļāļ·āđāļāļāļĩāđāđāļāļĩāļĒāļ 16U āļāļāļāđāļĢāđāļāđāļāļīāļĢāđāļāđāļ§āļāļĢāđ
āļāļĨāļąāļŠāđāļāļāļĢāđāļāļĩāđāđāļāđ SSD āļĢāļļāđāļ D5-P5336 āļŠāļģāļŦāļĢāļąāļāļāļ§āļēāļĄāļāļļ āđāļĨāļ° D7-PS1010 āļŠāļģāļŦāļĢāļąāļāļāļ§āļēāļĄāđāļĢāđāļ§ āđāļāļĒāļŠāļēāļĄāļēāļĢāļāļāļģ throughput āđāļāđāļŠāļđāļāļāļķāļ 116GB/s āļāđāļ node āđāļāļāļēāļĢāļāļāļŠāļāļ MLPerf Storage āļāļķāđāļāđāļāđāļāļĄāļēāļāļĢāļāļēāļāļŠāļģāļŦāļĢāļąāļāļāļēāļāļāļķāļāđāļĄāđāļāļĨ AI āđāļĄāđāļāļ°āđāļāđāļāļāļēāļĢāļāļāļŠāļāļāđāļāļ synthetic āđāļāđāļāđāđāļŠāļāļāđāļŦāđāđāļŦāđāļāļāļķāļāļĻāļąāļāļĒāļ āļēāļāļāļāļāļĢāļ°āļāļāđāļāļāļēāļĢāļĢāļāļāļĢāļąāļāļāļēāļ AI āļāļĩāđāļāđāļāļāļāļēāļĢāļāļ§āļēāļĄāđāļĢāđāļ§āđāļāļāļēāļĢāđāļāđāļēāļāļķāļāļāđāļāļĄāļđāļĨāļŠāļđāļāļĄāļēāļ
AI Central Lab āļĒāļąāļāđāļāđ GPU āļĢāļ°āļāļąāļāļŠāļđāļāļāļĒāđāļēāļ NVIDIA B200 āđāļĨāļ° H200 āļāļĢāđāļāļĄāļĢāļ°āļāļāđāļāļĢāļ·āļāļāđāļēāļĒ Ethernet 800Gbps āđāļāļ·āđāļāļāļģāļĨāļāļāļŠāļ āļēāļāđāļ§āļāļĨāđāļāļĄāļāļāļāļĻāļđāļāļĒāđāļāđāļāļĄāļđāļĨāļĒāļļāļāđāļŦāļĄāđ āđāļāļĒāļĄāļĩāđāļāđāļēāļŦāļĄāļēāļĒāđāļāļ·āđāļāļĻāļķāļāļĐāļēāļ§āđāļē “āļāļēāļĢāļāļąāļāđāļāđāļāļāđāļāļĄāļđāļĨāđāļāļĨāđ GPU” āļāļ°āļāđāļ§āļĒāđāļāļīāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļāļ AI āđāļāđāļĄāļēāļāđāļāđāđāļŦāļ
āļŦāļāļķāđāļāđāļāļāļ§āļēāļĄāļĢāđāļ§āļĄāļĄāļ·āļāļāļĩāđāļāđāļēāļŠāļāđāļāļāļ·āļāļāļąāļ Metrum AI āļāļķāđāļāļāļąāļāļāļēāđāļāļāļāļīāļāļāļēāļĢ offload āļāđāļāļĄāļđāļĨāļāļēāļ DRAM āđāļāļĒāļąāļ SSD āđāļāļ·āđāļāļĨāļāļāļēāļĢāđāļāđāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāļĨāļāļāļķāļ 57% āđāļāļāļēāļ inference āđāļāļ RAG (Retrieval-Augmented Generation) āļāļķāđāļāđāļāđāļāđāļāļāļāļīāļāļāļĩāđāļāļīāļĒāļĄāđāļāļāļēāļ AI āļŠāļĄāļąāļĒāđāļŦāļĄāđ
Solidigm āļĢāļ°āļāļļāļ§āđāļē AI Central Lab āđāļĄāđāđāļāđāđāļāđāļāļ·āđāļāļāļĩāđāļāļāļŠāļāļ āđāļāđāđāļāđāļāđāļ§āļāļĩāļŠāļģāļŦāļĢāļąāļāļāļ§āļąāļāļāļĢāļĢāļĄāļĢāđāļ§āļĄāļāļąāļāļāļąāļāļāļąāļāļāļēāđāļĨāļ°āļāļąāļāļāļĄāļīāļāļĢ āđāļāļ·āđāļāļŠāļĢāđāļēāļāļĢāļ°āļāļāļāļĩāđāļĄāļĩāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļŠāļđāļāļŠāļļāļāđāļāļāđāļēāļāļāļĨāļąāļāļāļēāļ āļāļ§āļēāļĄāđāļĢāđāļ§ āđāļĨāļ°āļāđāļāļāļļāļāļāđāļ token
â
āļāđāļāļĄāļđāļĨāļŠāļģāļāļąāļāļāļēāļāļāđāļēāļ§
âĄïļ Solidigm āđāļāļīāļāļāļąāļ§ AI Central Lab āļāļĩāđ Rancho Cordova, California
âĄïļ āđāļāđ SSD D5-P5336 āļāļāļēāļ 122TB āļāļģāļāļ§āļ 192 āļāļąāļ§ āļĢāļ§āļĄāđāļāđāļ 23.6PB āđāļāļāļ·āđāļāļāļĩāđ 16U
âĄïļ āđāļāđ SSD D7-PS1010 āļŠāļģāļŦāļĢāļąāļāļāļ§āļēāļĄāđāļĢāđāļ§ throughput āļŠāļđāļāļŠāļļāļ 116GB/s āļāđāļ node
âĄïļ āđāļāđ GPU NVIDIA B200 āđāļĨāļ° H200 āļāļĢāđāļāļĄāđāļāļĢāļ·āļāļāđāļēāļĒ Ethernet 800Gbps
âĄïļ āļāļāļŠāļāļāļāļēāļ AI āļāļĢāļīāļ āđāļāđāļ training, inference, KV cache offload āđāļĨāļ° VectorDB tuning
âĄïļ āļĢāđāļ§āļĄāļĄāļ·āļāļāļąāļ Metrum AI āđāļāļ·āđāļāļĨāļāļāļēāļĢāđāļāđ DRAM āļĨāļ 57% āļāđāļ§āļĒāļāļēāļĢ offload āđāļāļĒāļąāļ SSD
âĄïļ āļĻāļđāļāļĒāđāļāļĩāđāļāđāļ§āļĒāđāļāļĨāļāļŠāđāļāļ SSD āđāļŦāđāđāļāđāļ metric āļāļĩāđāđāļāđāđāļāļāļļāļāļŠāļēāļŦāļāļĢāļĢāļĄ āđāļāđāļ tokens per watt
âĄïļ Solidigm āđāļāđāļāļāļĢāļīāļĐāļąāļāđāļāđāļāļĢāļ·āļ SK hynix āļāļĩāđāđāļāđāļāđāļāļĨāļđāļāļąāļāļāļąāļāđāļāđāļāļāđāļāļĄāļđāļĨāļĢāļ°āļāļąāļāļāļāļāđāļāļĢ
â
āļāđāļāļĄāļđāļĨāđāļŠāļĢāļīāļĄāļāļēāļāļ āļēāļĒāļāļāļ
âĄïļ SSD āļāļāļēāļāđāļŦāļāđāļāđāļ§āļĒāļĨāļ latency āđāļĨāļ°āđāļāļīāđāļĄ throughput āđāļāļāļēāļ AI āļāļĩāđāđāļāđ GPU āļŦāļāļąāļ
âĄïļ MLPerf Storage āđāļāđāļ benchmark āļāļĩāđāđāļāđāļ§āļąāļāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļēāļĢāļāļąāļāđāļāđāļāļāđāļāļĄāļđāļĨāđāļāļāļēāļ AI
âĄïļ RAG āđāļāđāļāđāļāļāļāļīāļāļāļĩāđāđāļāđāļāđāļāļĄāļđāļĨāļ āļēāļĒāļāļāļāļĄāļēāļāđāļ§āļĒāļāļāļāļāļģāļāļēāļĄāđāļāđāļĄāđāļāļĨ AI
âĄïļ āļāļēāļĢāļāļąāļāđāļāđāļāļāđāļāļĄāļđāļĨāđāļāļĨāđ GPU āļāđāļ§āļĒāļĨāļ bottleneck āđāļĨāļ°āđāļāļīāđāļĄ utilization āļāļāļ accelerator
âĄïļ āļāļēāļĢāđāļāđ SSD āđāļāļ DRAM āļāđāļ§āļĒāļĨāļāļāđāļāļāļļāļāđāļĨāļ°āļāļĨāļąāļāļāļēāļāđāļāļĢāļ°āļāļāļāļāļēāļāđāļŦāļāđ
https://www.techradar.com/pro/solidigm-packed-usd2-7-million-worth-of-ssds-into-the-biggest-storage-cluster-ive-ever-seen-nearly-200-192tb-ssds-used-to-build-a-23-6pb-cluster-in-16u-rackspace