在存儲器中直接添加數(shù)據(jù)處理功能正在引起人們的重視，尤其是那些數(shù)據(jù)量巨大、在各類存儲器和處理器之間來回傳輸數(shù)據(jù)需要耗費太多的能量和時間的應(yīng)用。
在過去的十年中，將處理器添加到存儲器的想法斷斷續(xù)續(xù)出現(xiàn)在人們的腦海中，人們將其作為未來可能的發(fā)展方向，但這被認為是一種昂貴且未經(jīng)測試的器件微縮替代方案，從而遭到了摒棄。如今，由于熱效應(yīng)、各種類型的噪音，以及飛漲的設(shè)計和制造成本，微縮的效益減少了，所有的選擇都擺上了桌面。尤其是汽車中的計算機視覺應(yīng)用，因為此時激光雷達和攝像傳感器將產(chǎn)生視頻流；還有人工智能/機器學(xué)習(xí)/深度學(xué)習(xí)領(lǐng)域，因為此時需要快速處理大量數(shù)據(jù)。
AMD公司客戶產(chǎn)品首席架構(gòu)師Dan Bouvier表示：“如果你能在存儲數(shù)據(jù)的地方處理數(shù)據(jù)，效率就會高得多。如果你必須要跨越鏈路，就會消耗大量功率，尤其會占用大量I/O。這會讓PHY無法微縮。而且此處的封裝技術(shù)太昂貴，無法進入更精細的接點間隔（bump pitches）。而你當然希望盡可能緊密地壓縮。如果你使用的是異構(gòu)處理器，那么本地電源管理就容易很多。 ”
這在數(shù)據(jù)中心中非?，F(xiàn)實，就像在自動駕駛汽車和其他邊緣設(shè)備中一樣，而且這遠非驚人的新發(fā)現(xiàn)。AI/ML/DL和視頻流都不是新技術(shù)。但隨著它們開始跨越多個市場，涉及功率和延遲的獨特挑戰(zhàn)正在出現(xiàn)。簡而言之，需要處理的數(shù)據(jù)量預(yù)計將超過微縮所帶來的性能和功耗方面的效益，而解決這一問題的唯一方法是通過架構(gòu)改進和軟硬件協(xié)同設(shè)計。
Babblelabs公司首席執(zhí)行官Chris Rowen表示：“自從計算機出現(xiàn)以來，平衡內(nèi)存帶寬和計算帶寬一直是計算機系統(tǒng)架構(gòu)中的核心問題。甚至在50年前，人們就說，‘我需要以一種通用的方式逐個字節(jié)進行運算?！?/p>
這些年來，這個方程式并沒有顯著改變，改變的是更高效地實現(xiàn)這一點的方法。例如：
將多次運算組合到一個周期中；
通過緩存或降低計算精度，改變數(shù)據(jù)在處理器和存儲器之間移動的頻率；
縮短處理器和存儲器之間的距離，同時確保有足夠的帶寬。
上述三個領(lǐng)域的工作都在進行中，并且都大有希望。但是減小處理器和存儲器之間的距離在許多方面都提出了有趣的挑戰(zhàn)。
Rambus公司首席科學(xué)家Craig Hampel表示：“從技術(shù)的角度看，減小距離當然是可行的。而且它適合在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中增加權(quán)重的需要，因為你無法承受延遲。問題出在經(jīng)濟上。如果你看看DRAM，就會發(fā)現(xiàn)位元是按照一種非常規(guī)則的方式組合的，因此它具有成本效益。3D的目標是縮小這些距離，2.5D肯定也有幫助。但這兩種方法都使熱問題更難以解決，而且更難以測試。 ”
由美光和三星開發(fā)的Hybrid Memory Cube提供了一個案例，通過在3D配置中將存儲器堆疊在邏輯器件上，并使用硅通孔（TSV）連接不同層，從而實現(xiàn)距離的減小和數(shù)據(jù)吞吐量的提升。
Kandou Bus公司首席執(zhí)行官Amin Shokrollahi表示：“人們對直接訪問存儲器非常感興趣。問題是，你必須能夠構(gòu)建它，這樣你才能進行正常的編程。軟件和硬件同樣重要?！?/p>
這是一個經(jīng)濟上特別惱人的領(lǐng)域。Shokrollahi說：“Hybrid Memory Cube沒有成功的原因之一是沒有第二個來源。HBM（高帶寬內(nèi)存）更為簡單，但它提供了對所有存儲器的訪問，而且它是多源的。HBM封裝還可以支持更多的層，而且你可以非常輕松地冷卻它。因為如果你將處理器封裝在存儲器中，它會變得非常熱?！?/p>
一種可能的解決方案是限制處理器和存儲器的大小。在上月舉行的Hot Chips 30會議上，總部位于得克薩斯州奧斯汀的初創(chuàng)公司Mythic介紹了一種新的矩陣乘法存儲器架構(gòu)，旨在用于AI /機器學(xué)習(xí)市場。Mythic的方法是在flash存儲器中進行模擬計算以提高性能。
Mythic公司的首席技術(shù)官Dave Fick表示：“我們將使用flash陣列中的flash晶體管來表示權(quán)重矩陣。我們采用這種flash陣列，然后將其打包成小塊。我們有基于小塊的架構(gòu)，其中每個小塊都有一個這樣的存儲器陣列，還有其他支持重新配置和中間數(shù)據(jù)存儲的邏輯。SRAM提供中間數(shù)據(jù)存儲，因此在中間階段我們將數(shù)據(jù)存儲在SRAM中。我們有RISC-V處理器，用于在小塊內(nèi)提供控制。我們有路由器，實現(xiàn)與相鄰的小塊通信。然后有SIMD（單指令，多數(shù)據(jù)）單元，它提供的運算不是矩陣乘法?！?/p>
這里的局限是專業(yè)化，因為flash晶體管不能快速編程。Fick說：“你需要擁有一套固定的應(yīng)用，但這對于邊緣系統(tǒng)來說非常典型。我們可以通過將不同的區(qū)域映射到不同的應(yīng)用來支持多個應(yīng)用，因此我們可以一次支持多個應(yīng)用。”
圖1：Mythic公司提出的架構(gòu)，應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)。 （來源：Mythic / Hot Chips 30）
制造挑戰(zhàn)
還有其他問題需要解決。減小信號在存儲器和邏輯器件之間傳輸?shù)木嚯x會帶來熱量和成本方面的挑戰(zhàn)。但是直接在存儲器中構(gòu)建處理功能中會增加集成和兼容性問題。
OneSpin Solutions總裁兼首席執(zhí)行官Raik Brinkmann表示：“最大的問題是，存儲工藝和邏輯工藝無法結(jié)合在一起，因此你無法合理地將這些器件組裝在一起。這引發(fā)了制造方面的另一波創(chuàng)新浪潮。例如，對于單片3D架構(gòu)，邏輯層和存儲層之間有非常細的連線連接著兩層硅片。存儲器中的計算基本就是這個樣子?！?/p>
在這一點上，沒有人確切知道這種方法在制造中會產(chǎn)生怎樣的收益。
Arm公司研究員Rob Aitken表示：“這增加了一系列全新的挑戰(zhàn)。這種工藝中，有趣的架構(gòu)創(chuàng)新之一就是像斯坦福大學(xué)那樣使用基于像素的工藝系統(tǒng)。在這樣的系統(tǒng)中，像素彼此相對獨立并且存在于2D表面中。問題是，當你把兩個晶圓放在一起時，收率可能不同于單一晶圓的情形。例如，‘這個晶圓的收率是75%，那個晶圓的收率是75%，當我把它們放在一起時，收率是30%?！瘜嶋H上，你必須建立一個系統(tǒng)，讓三維堆疊中隱含的冗余與你一起工作，而不是與你作對。但即使你不使用單片3D，你只是想在存儲器中或者存儲器附近進行計算，那也會涉及到數(shù)據(jù)移動問題。如果你的系統(tǒng)需要移動數(shù)據(jù)，那么處理器的精妙程度和速度并不重要，因為這不是限制因素?！?/p>
設(shè)計挑戰(zhàn)
這在設(shè)計方面引發(fā)了一系列其他挑戰(zhàn)。
eSilicon公司營銷副總裁Mike Gianfagna表示：“這不僅僅是如何在設(shè)計中添加更多的東西，部分原因還在于你如何改變芯片設(shè)計的傳統(tǒng)方法。近存儲器隊列需要復(fù)雜的并行設(shè)計?！?/p>
這還需要深入了解如何在設(shè)計中使用各種類型的存儲器。AMD公司的Bouvier表示：“一個重要的死對頭是虛擬內(nèi)存子系統(tǒng)，這是用反常的方式移動數(shù)據(jù)，相當于二次轉(zhuǎn)化。 ”
但Bouvier指出，對于不同類型的芯片如何利用DRAM有不同的衡量標準。Bouvier表示，對于discrete GPU，DRAM的運行效率在90%左右。對于APU或CPU，它的運行效率在80%到85%之間。
對于AI/ML/DL應(yīng)用，這在推理方面尤為重要。
Babblelabs公司的Rowen表示：“英偉達之所以如此強大，并不僅僅是因為它們有并行架構(gòu)，而是因為它們有大量的內(nèi)存。推理過程的一個顯著不同之處在于，每個字節(jié)的內(nèi)存通常有數(shù)百次運算。所以這個問題的不同之處在于你通常不用關(guān)心內(nèi)存，至少對于推理而言是如此。你可以拋出大量與問題密切相關(guān)的計算，而不會出現(xiàn)內(nèi)存瓶頸。導(dǎo)致諸多創(chuàng)新的原因之一是，人們推出了非常密集的計算架構(gòu)和粗粒度陣列，得到的反應(yīng)是‘這很好，但沒有具有這些特征的問題?！麄冎械拇蠖鄶?shù)都失敗了，因為他們沒有足夠的內(nèi)存帶寬。但現(xiàn)在，我們遇到的問題確實存在帶寬不成問題的特征?！?/p>
這使得在內(nèi)存中或非常接近內(nèi)存的地方添加內(nèi)存更加引人注目。盡管這還不是一個確定的賭注，但除非經(jīng)過嚴肅的討論，否則它不會被拋棄。