像世界各地的許多系統(tǒng)架構(gòu)師一樣，我們對(duì)相變存儲(chǔ)器（PCM）的變體3D XPoint寄予厚望，該技術(shù)在英特爾和美光科技共同開(kāi)發(fā)多年之后于2015年7月大張旗鼓地發(fā)布。這代表了系統(tǒng)層次結(jié)構(gòu)中的一種新型內(nèi)存，它位于主內(nèi)存和Tier 1存儲(chǔ)之間，并有望使更大，更便宜的主內(nèi)存和更快的Tier 1內(nèi)存成為可能。

　　系統(tǒng)內(nèi)存層次結(jié)構(gòu)之間存在很大的差距，當(dāng)中尤其以Tier 1存儲(chǔ)和CPU中的主內(nèi)存之間的差距最大，因此這會(huì)嚴(yán)重影響整體系統(tǒng)性能和系統(tǒng)成本。但是，也許3D XPoint必須克服的是英特爾和美光公司共同在猶他州萊希市投資的實(shí)驗(yàn)室和晶圓廠與世界數(shù)據(jù)中心的差距。

　　事實(shí)證明，這種差距很難彌合，這就是美光宣布關(guān)閉3D XPoint業(yè)務(wù)并宣布出售Lehi晶圓廠的原因之一。我們認(rèn)為，既然英特爾是唯一一家銷(xiāo)售3D XPoint的公司，并且在第二代PCM內(nèi)存變體完善之后，美光公司在幾年前就擁有了Lehi晶圓廠，因此英特爾將向美光公司購(gòu)買(mǎi)該晶圓廠。但也許不是，因?yàn)槊拦鉀](méi)有說(shuō)。

　　而且，隨著英特爾即將推出具有八個(gè)存儲(chǔ)通道的“ Ice Lake” Xeon SP處理器，而不是許多年來(lái)一直使用的至強(qiáng)處理器上的六個(gè)存儲(chǔ)通道，英特爾已經(jīng)擁有了一些存儲(chǔ)容量和存儲(chǔ)帶寬新布局–這將有助于推動(dòng)Optane DIMM在過(guò)去兩代Xeon SP服務(wù)器上的采用–將會(huì)減少。這個(gè)時(shí)機(jī)也許不是巧合。但是美光的突然而完全的反應(yīng)有點(diǎn)令人驚訝。

　　在與華爾街的電話會(huì)議中，美光公司總裁兼首席執(zhí)行官Sanjay Mehrotra表示，美光公司將立即停止3D XPoint的開(kāi)發(fā)，并將致力于利用Compute Express Link（CXL）協(xié)議將CPU鏈接到物理外部（但邏輯上連接）存儲(chǔ)和加速器設(shè)備。

　　Mehrotra解釋說(shuō)：“我們相信這一轉(zhuǎn)變將更好地滿足客戶(hù)的需求，并且重要的是，它將提高我們股東的回報(bào)。” “鑒于CXL和我們新興的存儲(chǔ)器產(chǎn)品對(duì)未來(lái)數(shù)據(jù)中心的預(yù)期影響，我們對(duì)3D XPoint市場(chǎng)機(jī)會(huì)的評(píng)估決定了我們的決定。”

　　3D XPoint未能按預(yù)期起飛并不是什么國(guó)家機(jī)密，而且我們多次說(shuō)過(guò)，英特爾的Optane比預(yù)期晚上市得多，速度比預(yù)期慢，容量也不及預(yù)期，且價(jià)格比預(yù)期貴。這不是一件好事。換而言之，Optane SSD比閃存SSD快得多，并且Optane PMEM記憶棒具有持久性，然而而DDR DIMM需要通電才能記住事情。

　　美光擁有其制造3D XPoint內(nèi)存的Lehi晶圓廠的限制因素之一是，該晶圓廠的未充分利用正在影響其非GAAP利潤(rùn)，每年達(dá)4億美元。為了給您提供一些觀點(diǎn)，美光在該年9月結(jié)束的2020財(cái)年的銷(xiāo)售額為214.4億美元，營(yíng)業(yè)收入為11.6億美元，凈收入為9.88億美元。因此，3D XPoint銷(xiāo)售的這種短缺對(duì)美光中部和底線的利潤(rùn)造成了重大打擊。

　　但是我們認(rèn)為情況更加復(fù)雜。英特爾曾希望將3D XPoint與其“ Skylake”處理器和“ Purley”服務(wù)器平臺(tái)一起使用，我們?cè)谒麄冇?015年5月的發(fā)布后不久就告訴了所有人。我們當(dāng)時(shí)還不知道英特爾到底在計(jì)劃什么，但是我們得到的文件確實(shí)說(shuō)，Purley系統(tǒng)的容量是DRAM存儲(chǔ)器的4倍，成本卻比DRAM存儲(chǔ)器低，而持久性數(shù)據(jù)在設(shè)備上的速度比DRAM快500倍。NAND閃存的時(shí)代。這就是“ Apache Pass” Optane DIMM，我們稱(chēng)為Optane 100系列，并且一直推遲到2019年4月交付到“ Cascade Lake” Xeon SP為止。

　　從3D XPoint首次面世到以至關(guān)重要的DDR DIMM形式交付，已經(jīng)過(guò)去了將近四年的時(shí)間，即使在那時(shí)，也只有英特爾服務(wù)器，Cascade Lake，然后是后續(xù)的“ Cooper Lake”四路和八路可以使用它們。

　　系統(tǒng)架構(gòu)師及其CIO客戶(hù)（或視情況而定，是老板）對(duì)任何單一來(lái)源的技術(shù)都持謹(jǐn)慎態(tài)度，這些技術(shù)無(wú)法在各種CPU和主板上進(jìn)行部署。因此，我們認(rèn)為市場(chǎng)對(duì)Optane DIMM缺乏熱情是英特爾自己的錯(cuò)。英特爾需要為Cascade Lake和Cooper Lake處理器的發(fā)布提供一些便利，與主流市場(chǎng)上的AMD Epyc 7002，IBM Power9，Ampere Altra和Altra Max以及Marvell ThunderX2替代品相比，這將減少內(nèi)存容量和帶寬。由于英特爾10納米芯片制造工藝的延遲，Lake的Xeon SP遲到了數(shù)年。（因此，這是10納米延遲的另一個(gè)意外影響；如果您愿意的話，這是一個(gè)級(jí)聯(lián)故障。）

　　想象一下，如果英特爾（和美光）在2015年對(duì)3D XPoint內(nèi)存采取的態(tài)度與英特爾在2019年對(duì)CXL協(xié)議采取的態(tài)度相同。那么擁有競(jìng)爭(zhēng)性協(xié)議的每個(gè)人——IBM與CAPI和OpenCAPI，Xilinx和AMD以及Arm與CCIX，具有NVLink的Nvidia以及具有Gen-Z的惠普企業(yè)和戴爾-都落后于CXL，因?yàn)橛⑻貭栕屗麄儏⑴c了將成為批量市場(chǎng)的市場(chǎng)并提供了一些投入。

　　3D XPoint這種PCM內(nèi)存的變體能夠很好地?cái)U(kuò)展主內(nèi)存而對(duì)性能幾乎沒(méi)有影響的，這不應(yīng)在整個(gè)服務(wù)器行業(yè)中普遍存在，從而提高了銷(xiāo)量并降低了價(jià)格，以至于英特爾和美光科技將不會(huì)再與之競(jìng)爭(zhēng)。在最后一步中，只有英特爾才是唯一的拿手好戲，它本可以與美光（甚至是三星）合作，為全世界制。

　　那是理論。在實(shí)踐中，很難在內(nèi)存層次結(jié)構(gòu)中添加另一層，并且英特爾在使3D XPoint對(duì)應(yīng)用程序和操作系統(tǒng)透明方面做得還不是很出色–并沒(méi)有比“Knights Landing”“中的MCDRAM和DDR4主內(nèi)存塊附近做得更多。

　　我們只需要看一下MemVerge，在2019年4月發(fā)布的時(shí)候，我們對(duì)其進(jìn)行了介紹。當(dāng)Cascade Lake服務(wù)器開(kāi)始出貨時(shí)，我們看到通過(guò)MemVerge創(chuàng)建的”內(nèi)存管理程序“，確實(shí)有可能使DRAM和Optane內(nèi)存的混合易于使用。Optane SSD從來(lái)沒(méi)有使用太多，但是如果容量增加了10倍或100倍，那么對(duì)于系統(tǒng)設(shè)計(jì)人員來(lái)說(shuō)也許會(huì)更有趣。

　　這似乎還不夠，美光在與用戶(hù)和系統(tǒng)構(gòu)建者交談之后，意識(shí)到讀者會(huì)完全理解，那就是：在許多情況下，內(nèi)存帶寬對(duì)應(yīng)用的限制甚于內(nèi)存容量。當(dāng)英特爾和美光科技通過(guò)硅通孔（TSV）共同開(kāi)發(fā)3D堆疊內(nèi)存并將其用于Knights Landing CPU時(shí)，三星HBM贏得了與Nvidia和AMD的游戲和計(jì)算卡業(yè)務(wù)?，F(xiàn)在，HBM2和HBM2E以及規(guī)劃的HBM3堆疊內(nèi)存。

　　現(xiàn)在，美光科技將試圖弄清楚，如何能在PCI-Express總線上，使用CXL將外部存儲(chǔ)器和閃存鏈接到服務(wù)器上，并出售利用該功能的設(shè)備，而不是嘗試出售DIMM中的3D XPoint。在2020年11月，美光（Micron）表示仍在前進(jìn)的道路上），并試圖以3D XPoint SSD外形與CXL脫鉤，該產(chǎn)品已作為X100驅(qū)動(dòng)器出售。

　　這個(gè)內(nèi)存帶寬問(wèn)題是真實(shí)存在的，并且我們不確定如何在CXL總線上使用內(nèi)存設(shè)備（無(wú)論它們是否使用主內(nèi)存語(yǔ)義，還是位可尋址而不是字節(jié)可尋址）。大多數(shù)系統(tǒng)的PCI-Express總線也受到了重創(chuàng)，我們將再說(shuō)一次，IBM將所有I / O集成在芯片上的想法（無(wú)論是內(nèi)存訪問(wèn)，NUMA互連還是外圍互連）都使用相同的高速信號(hào)SerDes。

　　在美光和IBM都看到的世界變得越來(lái)越有意思。

　　IBM的CPU設(shè)計(jì)人員可以做到這一點(diǎn)，并且正在使用DDR5緩沖存儲(chǔ)器在Power10中實(shí)現(xiàn)它，然而我們看不到未來(lái)的處理器采用這種方法的可能。

　　美光公司四個(gè)部門(mén)的執(zhí)行副總裁兼首席商務(wù)官Sumit Sadana總結(jié)了這樣的情況：” 3D XPoint的價(jià)值主張是作為持久性存儲(chǔ)器運(yùn)行，而其成本要低于DRAM，或者作為顯著的存儲(chǔ)空間，比NAND快。自3D XPoint首次發(fā)布以來(lái)，多年來(lái)，數(shù)據(jù)中心的工作量和客戶(hù)需求一直在不斷發(fā)展。隨著數(shù)據(jù)密集型工作負(fù)載的激增以及以數(shù)據(jù)為中心的應(yīng)用中AI的增加，CPU-DRAM帶寬已成為限制整體系統(tǒng)性能的因素。此外，隨著CPU體系結(jié)構(gòu)的發(fā)展，已經(jīng)顯著增加CPU內(nèi)核數(shù)，為此我們需要更多的DRAM以確保每個(gè)CPU內(nèi)核有足夠的內(nèi)存帶寬。這種趨勢(shì)推動(dòng)了服務(wù)器DRAM內(nèi)容的不斷增長(zhǎng)。“

　　公平地說(shuō)，英特爾和MemVerge使用Optane的方式是增加內(nèi)存容量，而不是增加帶寬，因?yàn)閮?nèi)存控制器和內(nèi)存插槽在系統(tǒng)中是恒定的。如果需要更多的內(nèi)存帶寬，則必須使用其他類(lèi)型的內(nèi)存，例如NEC的Aurora矢量加速器或Fujitsu的A64FX合理矢量的HPC風(fēng)格CPU。在這些情況下，它們使用與高端圖形卡和GPU計(jì)算加速器相同的HBM2內(nèi)存。如果要增加CPU綜合體中的內(nèi)存帶寬，則CPU制造商必須這樣做，而美光必須采取一切措施，除非它想擺脫MCDRAM或成為HBM2內(nèi)存的參與者。除了降低瓦特和提高存儲(chǔ)器時(shí)鐘外，美光對(duì)存儲(chǔ)器帶寬的控制極少。而且CXL不會(huì)改變這一點(diǎn)，盡管它將創(chuàng)建第二類(lèi)較慢的內(nèi)存，該內(nèi)存位于PCI Express總線而不是內(nèi)存總線上的CPU綜合結(jié)構(gòu)外部。

　　3D XPoint的另一個(gè)問(wèn)題是NAND閃存的價(jià)格越來(lái)越便宜，而Optane SSD成本的變化率卻沒(méi)有跟上。就Sadana而言，持久性存儲(chǔ)”始終是3D XPoint的戰(zhàn)略長(zhǎng)期市場(chǎng)機(jī)遇“，并且”隨著時(shí)間的推移，基于3D XPoint的SSD產(chǎn)品預(yù)計(jì)將不再是利基市場(chǎng)?！?/p>

　　美光完全承認(rèn)更改系統(tǒng)中的編程模型以將新的內(nèi)存層添加到層次結(jié)構(gòu)中的困難，并表示它將在使用CXL的內(nèi)存產(chǎn)品上運(yùn)行，并且采用障礙較小。雖然從長(zhǎng)遠(yuǎn)來(lái)看3D XPoint可能是正確的答案，但是使用這些CXL內(nèi)存設(shè)備以及我們認(rèn)為它們的局限性和優(yōu)勢(shì)，將阻礙3D XPoint DIMM的采用，而Micron甚至沒(méi)有這樣做。到目前為止，也許我們還無(wú)法制造出一兩個(gè)服務(wù)器。

　　美光表示將立即停止3D XPoint的開(kāi)發(fā)，并在未來(lái)幾個(gè)季度完成合同承諾后將停止制造3D XPoint芯片，并補(bǔ)充說(shuō)正在參與出售Lehi晶圓廠的談判，該公司希望在2021年年底之前這樣做。

　　對(duì)英特爾來(lái)說(shuō)，也是時(shí)候開(kāi)始抉擇了。