像世界各地的許多系統(tǒng)架構師一樣，我們對相變存儲器（PCM）的變體3D XPoint寄予厚望，該技術在英特爾和美光科技共同開發(fā)多年之后于2015年7月大張旗鼓地發(fā)布。這代表了系統(tǒng)層次結構中的一種新型內存，它位于主內存和Tier 1存儲之間，并有望使更大，更便宜的主內存和更快的Tier 1內存成為可能。
系統(tǒng)內存層次結構之間存在很大的差距，當中尤其以Tier 1存儲和CPU中的主內存之間的差距最大，因此這會嚴重影響整體系統(tǒng)性能和系統(tǒng)成本。但是，也許3D XPoint必須克服的是英特爾和美光公司共同在猶他州萊希市投資的實驗室和晶圓廠與世界數(shù)據(jù)中心的差距。
事實證明，這種差距很難彌合，這就是美光宣布關閉3D XPoint業(yè)務并宣布出售Lehi晶圓廠的原因之一。我們認為，既然英特爾是唯一一家銷售3D XPoint的公司，并且在第二代PCM內存變體完善之后，美光公司在幾年前就擁有了Lehi晶圓廠，因此英特爾將向美光公司購買該晶圓廠。但也許不是，因為美光沒有說。
而且，隨著英特爾即將推出具有八個存儲通道的“ Ice Lake” Xeon SP處理器，而不是許多年來一直使用的至強處理器上的六個存儲通道，英特爾已經(jīng)擁有了一些存儲容量和存儲帶寬新布局–這將有助于推動Optane DIMM在過去兩代Xeon SP服務器上的采用–將會減少。這個時機也許不是巧合。但是美光的突然而完全的反應有點令人驚訝。
在與華爾街的電話會議中，美光公司總裁兼首席執(zhí)行官Sanjay Mehrotra表示，美光公司將立即停止3D XPoint的開發(fā)，并將致力于利用Compute Express Link（CXL）協(xié)議將CPU鏈接到物理外部（但邏輯上連接）存儲和加速器設備。
Mehrotra解釋說：“我們相信這一轉變將更好地滿足客戶的需求，并且重要的是，它將提高我們股東的回報?！?“鑒于CXL和我們新興的存儲器產(chǎn)品對未來數(shù)據(jù)中心的預期影響，我們對3D XPoint市場機會的評估決定了我們的決定?！?/p>
3D XPoint未能按預期起飛并不是什么國家機密，而且我們多次說過，英特爾的Optane比預期晚上市得多，速度比預期慢，容量也不及預期，且價格比預期貴。這不是一件好事。換而言之，Optane SSD比閃存SSD快得多，并且Optane PMEM記憶棒具有持久性，然而而DDR DIMM需要通電才能記住事情。
美光擁有其制造3D XPoint內存的Lehi晶圓廠的限制因素之一是，該晶圓廠的未充分利用正在影響其非GAAP利潤，每年達4億美元。為了給您提供一些觀點，美光在該年9月結束的2020財年的銷售額為214.4億美元，營業(yè)收入為11.6億美元，凈收入為9.88億美元。因此，3D XPoint銷售的這種短缺對美光中部和底線的利潤造成了重大打擊。
但是我們認為情況更加復雜。英特爾曾希望將3D XPoint與其“ Skylake”處理器和“ Purley”服務器平臺一起使用，我們在他們于2015年5月的發(fā)布后不久就告訴了所有人。我們當時還不知道英特爾到底在計劃什么，但是我們得到的文件確實說，Purley系統(tǒng)的容量是DRAM存儲器的4倍，成本卻比DRAM存儲器低，而持久性數(shù)據(jù)在設備上的速度比DRAM快500倍。NAND閃存的時代。這就是“ Apache Pass” Optane DIMM，我們稱為Optane 100系列，并且一直推遲到2019年4月交付到“ Cascade Lake” Xeon SP為止。
從3D XPoint首次面世到以至關重要的DDR DIMM形式交付，已經(jīng)過去了將近四年的時間，即使在那時，也只有英特爾服務器，Cascade Lake，然后是后續(xù)的“ Cooper Lake”四路和八路可以使用它們。
系統(tǒng)架構師及其CIO客戶（或視情況而定，是老板）對任何單一來源的技術都持謹慎態(tài)度，這些技術無法在各種CPU和主板上進行部署。因此，我們認為市場對Optane DIMM缺乏熱情是英特爾自己的錯。英特爾需要為Cascade Lake和Cooper Lake處理器的發(fā)布提供一些便利，與主流市場上的AMD Epyc 7002，IBM Power9，Ampere Altra和Altra Max以及Marvell ThunderX2替代品相比，這將減少內存容量和帶寬。由于英特爾10納米芯片制造工藝的延遲，Lake的Xeon SP遲到了數(shù)年。（因此，這是10納米延遲的另一個意外影響；如果您愿意的話，這是一個級聯(lián)故障。）
想象一下，如果英特爾（和美光）在2015年對3D XPoint內存采取的態(tài)度與英特爾在2019年對CXL協(xié)議采取的態(tài)度相同。那么擁有競爭性協(xié)議的每個人——IBM與CAPI和OpenCAPI，Xilinx和AMD以及Arm與CCIX，具有NVLink的Nvidia以及具有Gen-Z的惠普企業(yè)和戴爾-都落后于CXL，因為英特爾讓他們參與了將成為批量市場的市場并提供了一些投入。
3D XPoint這種PCM內存的變體能夠很好地擴展主內存而對性能幾乎沒有影響的，這不應在整個服務器行業(yè)中普遍存在，從而提高了銷量并降低了價格，以至于英特爾和美光科技將不會再與之競爭。在最后一步中，只有英特爾才是唯一的拿手好戲，它本可以與美光（甚至是三星）合作，為全世界制。
那是理論。在實踐中，很難在內存層次結構中添加另一層，并且英特爾在使3D XPoint對應用程序和操作系統(tǒng)透明方面做得還不是很出色–并沒有比“Knights Landing”“中的MCDRAM和DDR4主內存塊附近做得更多。
我們只需要看一下MemVerge，在2019年4月發(fā)布的時候，我們對其進行了介紹。當Cascade Lake服務器開始出貨時，我們看到通過MemVerge創(chuàng)建的”內存管理程序“，確實有可能使DRAM和Optane內存的混合易于使用。Optane SSD從來沒有使用太多，但是如果容量增加了10倍或100倍，那么對于系統(tǒng)設計人員來說也許會更有趣。
這似乎還不夠，美光在與用戶和系統(tǒng)構建者交談之后，意識到讀者會完全理解，那就是：在許多情況下，內存帶寬對應用的限制甚于內存容量。當英特爾和美光科技通過硅通孔（TSV）共同開發(fā)3D堆疊內存并將其用于Knights Landing CPU時，三星HBM贏得了與Nvidia和AMD的游戲和計算卡業(yè)務?，F(xiàn)在，HBM2和HBM2E以及規(guī)劃的HBM3堆疊內存。
現(xiàn)在，美光科技將試圖弄清楚，如何能在PCI-Express總線上，使用CXL將外部存儲器和閃存鏈接到服務器上，并出售利用該功能的設備，而不是嘗試出售DIMM中的3D XPoint。在2020年11月，美光（Micron）表示仍在前進的道路上），并試圖以3D XPoint SSD外形與CXL脫鉤，該產(chǎn)品已作為X100驅動器出售。
這個內存帶寬問題是真實存在的，并且我們不確定如何在CXL總線上使用內存設備（無論它們是否使用主內存語義，還是位可尋址而不是字節(jié)可尋址）。大多數(shù)系統(tǒng)的PCI-Express總線也受到了重創(chuàng)，我們將再說一次，IBM將所有I / O集成在芯片上的想法（無論是內存訪問，NUMA互連還是外圍互連）都使用相同的高速信號SerDes。
在美光和IBM都看到的世界變得越來越有意思。
IBM的CPU設計人員可以做到這一點，并且正在使用DDR5緩沖存儲器在Power10中實現(xiàn)它，然而我們看不到未來的處理器采用這種方法的可能。
美光公司四個部門的執(zhí)行副總裁兼首席商務官Sumit Sadana總結了這樣的情況：” 3D XPoint的價值主張是作為持久性存儲器運行，而其成本要低于DRAM，或者作為顯著的存儲空間，比NAND快。自3D XPoint首次發(fā)布以來，多年來，數(shù)據(jù)中心的工作量和客戶需求一直在不斷發(fā)展。隨著數(shù)據(jù)密集型工作負載的激增以及以數(shù)據(jù)為中心的應用中AI的增加，CPU-DRAM帶寬已成為限制整體系統(tǒng)性能的因素。此外，隨著CPU體系結構的發(fā)展，已經(jīng)顯著增加CPU內核數(shù)，為此我們需要更多的DRAM以確保每個CPU內核有足夠的內存帶寬。這種趨勢推動了服務器DRAM內容的不斷增長?！?/p>
公平地說，英特爾和MemVerge使用Optane的方式是增加內存容量，而不是增加帶寬，因為內存控制器和內存插槽在系統(tǒng)中是恒定的。如果需要更多的內存帶寬，則必須使用其他類型的內存，例如NEC的Aurora矢量加速器或Fujitsu的A64FX合理矢量的HPC風格CPU。在這些情況下，它們使用與高端圖形卡和GPU計算加速器相同的HBM2內存。如果要增加CPU綜合體中的內存帶寬，則CPU制造商必須這樣做，而美光必須采取一切措施，除非它想擺脫MCDRAM或成為HBM2內存的參與者。除了降低瓦特和提高存儲器時鐘外，美光對存儲器帶寬的控制極少。而且CXL不會改變這一點，盡管它將創(chuàng)建第二類較慢的內存，該內存位于PCI Express總線而不是內存總線上的CPU綜合結構外部。
3D XPoint的另一個問題是NAND閃存的價格越來越便宜，而Optane SSD成本的變化率卻沒有跟上。就Sadana而言，持久性存儲”始終是3D XPoint的戰(zhàn)略長期市場機遇“，并且”隨著時間的推移，基于3D XPoint的SSD產(chǎn)品預計將不再是利基市場。“
美光完全承認更改系統(tǒng)中的編程模型以將新的內存層添加到層次結構中的困難，并表示它將在使用CXL的內存產(chǎn)品上運行，并且采用障礙較小。雖然從長遠來看3D XPoint可能是正確的答案，但是使用這些CXL內存設備以及我們認為它們的局限性和優(yōu)勢，將阻礙3D XPoint DIMM的采用，而Micron甚至沒有這樣做。到目前為止，也許我們還無法制造出一兩個服務器。
美光表示將立即停止3D XPoint的開發(fā)，并在未來幾個季度完成合同承諾后將停止制造3D XPoint芯片，并補充說正在參與出售Lehi晶圓廠的談判，該公司希望在2021年年底之前這樣做。
對英特爾來說，也是時候開始抉擇了。