《電子技術應用》
您所在的位置:首頁 > 人工智能 > 业界动态 > 美光推出全球首款高容量 256GB LPDRAM SOCAMM2

美光推出全球首款高容量 256GB LPDRAM SOCAMM2

为数据中心基础架构树立新标杆
2026-03-05
來源:Micron Technology Inc.
關鍵詞: 美光

新聞亮點:

·         采用業(yè)界首款單晶粒 32Gb LPDDR5X,相較標準 RDIMM,功耗降至其 1/3,尺寸亦縮小至其 1/3

·         長上下文 LLM 推理的首個 token 生成時間加速 2.3 倍,在獨立 CPU 應用中,每瓦性能提升 3 倍

·         單一模組容量提升 1.33 倍 — 每顆 8 通道服務器 CPU 可配置 2TB LPDRAM,適用于 AI 及高性能計算(HPC)場景 

28.jpg 

2026 年 3 月 5 日,愛達荷州博伊西市 — 美光科技股份有限公司(納斯達克股票代碼:MU)近日宣布開始向客戶送樣業(yè)界容量領先的 LPDRAM 模塊 256GB SOCAMM2,進一步鞏固其在低功耗服務器內存領域的領導地位。依托業(yè)界首款單晶粒 32Gb LPDDR5X 設計,這一里程碑式成就為 AI 數(shù)據(jù)中心帶來變革性突破,提供足以實現(xiàn)全新系統(tǒng)架構的低功耗內存容量。

 AI 訓練、推理、代理式 AI 和通用計算的融合,正推動更嚴苛的內存需求,并重塑數(shù)據(jù)中心的系統(tǒng)架構?,F(xiàn)代 AI 工作負載催生了大模型參數(shù)、擴展的上下文窗口及持久性鍵值(KV)緩存的需求,而核心計算則在數(shù)據(jù)強度、并發(fā)性和內存空間方面持續(xù)擴展。 

面對上述工作負載,內存容量、帶寬效率、延遲和能效已成為系統(tǒng)層面的主要瓶頸,直接影響性能、可擴展性和總體擁有成本。LPDRAM 融合上述特性的獨特優(yōu)勢,在功耗與散熱限制日益嚴苛的數(shù)據(jù)中心環(huán)境中,成為 AI 及核心計算服務器的關鍵解決方案。美光正與 NVIDIA 攜手合作,共同設計高性能內存解決方案,以滿足先進 AI 基礎架構的需求。

美光高級副總裁暨云端存儲事業(yè)部總經理 Raj Narasimhan 表示:“美光 256GB SOCAMM2 為 AI 及高性能計算(HPC)提供更具能效的 CPU 附加內存解決方案。此次產品發(fā)布充分展現(xiàn)出美光在技術與封裝領域的突破,打造業(yè)界容量領先、低功耗、小尺寸的模塊化內存解決方案。美光在數(shù)據(jù)中心低功耗內存解決方案領域持續(xù)保持領先地位,這一獨特優(yōu)勢使我們率先推出單晶粒 32Gb LPDRAM,協(xié)助推動業(yè)界加速采用更節(jié)能、更高容量的系統(tǒng)架構?!?/p>

 

專為容量、能效和工作負載性能優(yōu)化而設計

美光的 256GB SOCAMM2 為各種 AI 和通用計算工作負載提供更高的內存容量、更低的功耗,以及更快的性能。 

·為 AI 服務器擴展內存容量:256GB SOCAMM2 容量較前代最高規(guī)格 192GB SOCAMM2 提升三分之一,可為每顆 8 通道 CPU 提供 2TB LPDRAM 容量,從而支持更大的上下文窗口及更復雜的推理工作負載。

·功耗更低、尺寸更?。号c相同容量的 RDIMM 相比,SOCAMM2 的功耗僅為其三分之一,尺寸亦縮減至三分之一,有效提升機架密度并降低總體擁有成本。[1]

·提升推理與核心計算性能:在統(tǒng)一內存架構中,與現(xiàn)有解決方案相比,256GB SOCAMM2 用于 KV 緩存卸載時,可將長上下文、實時 LLM 推理的首個 token 生成時間加速 2.3 倍。[2]在獨立 CPU 應用中,針對高性能計算工作負載,LPDRAM 的每瓦性能較主流內存模塊提升超 3 倍。[3]

·易維護、可擴展的模塊化設計:模塊化 SOCAMM2 設計可提升設備可維護性、支持液冷服務器架構,并能隨著 AI 與核心計算內存需求的持續(xù)增長,實現(xiàn)未來容量擴充。

 

NVIDIA 數(shù)據(jù)中心 CPU 產品部門主管 Ian Finder 表示:“先進 AI 基礎架構需要在各個層面進行極致優(yōu)化,才能有效應對嚴苛的 AI 推理工作負載對性能與能效的需求。美光通過 256GB SOCAMM2,以低于傳統(tǒng)服務器內存的功耗,實現(xiàn)超大內存容量與帶寬的突破,為下一代 AI CPU 提供關鍵助力。”

 

推動行業(yè)標準制定,加速低功耗內存普及

美光在 JEDEC SOCAMM2 規(guī)范制定過程中持續(xù)發(fā)揮領導作用,并維持與系統(tǒng)設計人員的深度技術合作,以推動下一代數(shù)據(jù)中心平臺在能效與性能方面實現(xiàn)全行業(yè)性提升。 

美光現(xiàn)已面向客戶送樣 256GB SOCAMM2 產品,并提供業(yè)界最全面的數(shù)據(jù)中心 LPDRAM 產品組合,涵蓋 8GB 至 64GB 組件及 48GB 至 256GB 的 SOCAMM2 模塊。

[1] 三分之一的功耗依據(jù)單個 128GB、128 位總線寬度 SOCAMM2 模塊與兩個 64GB、64 位總線寬度 DDR5 RDIMM 的功耗瓦數(shù)對比計算。三分之一的尺寸依據(jù) SOCAMM2 的面積( 14x90 mm)與標準服務器 RDIMM 的面積之比。

[2] 結果基于美光內部測試,使用 Llama3 70B 模型(FP16 量化)進行實時推理測試,測試配置為:上下文長度 500K,并發(fā)用戶數(shù) 16。首 token 響應時延(TTFT)的預期提升,基于每 CPU 配置 2TB LPDRAM 時延 0.12 秒,對比每 CPU 配置 1.5TB LPDRAM 時延 0.28 秒測算。有關測試條件詳情,請參閱本月稍早發(fā)布的白皮書:LPDDR at Scale: Enabling Efficient LLM Inference Through High-Capacity Memory。

[3] 美光內部測試使用相同容量的 LPDDR5X 和 DDR5 進行 Pot3D 太陽物理 HPC 代碼性能測評。

 


2.jpg

本站內容除特別聲明的原創(chuàng)文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內容無法一一聯(lián)系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。