近年來，處理器技術(shù)進(jìn)入如此大，一個像U盤那么大的設(shè)備現(xiàn)在都可以用于為神經(jīng)網(wǎng)絡(luò)提供能量。但是，企業(yè)通常很難充分發(fā)揮其計(jì)算能力，因?yàn)閷?shí)施大規(guī)模人工智能過程中還存在的根本挑戰(zhàn)。

這個問題和可擴(kuò)展性有關(guān)，本周二IBM發(fā)布了一種名為分布式深度學(xué)習(xí)（Distributed Deep Learning，DDL）的軟件庫來解決這個問題。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個子集，旨在教計(jì)算機(jī)以人類相同的方式進(jìn)行學(xué)習(xí)。例如，人們不會通過描述這個生物有4條腿、1個鼻子和1條尾巴的事實(shí)來識別出這是一只狗。一旦人們知道狗是什么樣子，就會與貓做永久性的區(qū)分。深度學(xué)習(xí)試圖在軟件中復(fù)制這種方法。

大多數(shù)深度學(xué)習(xí)的框架都支持跨多個服務(wù)器擴(kuò)展大型模式的能力，很多現(xiàn)在也支持GPU，但是收集和同步分析結(jié)果的方式還遠(yuǎn)遠(yuǎn)不夠，IBM研究部門總監(jiān)Hillery Hunter表示。

同步的工作流

深度學(xué)習(xí)模式運(yùn)行在計(jì)算機(jī)集群上，通過GPU進(jìn)行增強(qiáng)，GPU芯片有數(shù)百萬個分布式和互相關(guān)聯(lián)的處理元素，其作用大致類似于人類大腦中的神經(jīng)元。這些人造神經(jīng)元一起處理信息，就像人類的部分一樣，每個神經(jīng)元都處理一小部分?jǐn)?shù)據(jù)。當(dāng)節(jié)點(diǎn)完成計(jì)算的時候，結(jié)果將同步在其他神經(jīng)網(wǎng)絡(luò)上，以幫助協(xié)調(diào)工作。

在IBM看來，這就是瓶頸所在。人造神經(jīng)元部署運(yùn)行在越快的GPU上，完成計(jì)算的速度就越快，意味著結(jié)果的同步更加頻繁。由于AI集群的構(gòu)建方式，如果環(huán)境中芯片的數(shù)量增加，同樣適用。但是深度學(xué)習(xí)框架只能頻繁地同步數(shù)據(jù)。

因此，處理速度收到了數(shù)據(jù)在GPU之間傳輸?shù)南拗?。DDL利用所謂的多層通信算法來改變這一平衡。這個軟件庫修改信息發(fā)送通過的網(wǎng)絡(luò)路徑，以實(shí)現(xiàn)延遲和帶寬之間“最優(yōu)化”的平衡，讓通信不再是主要的瓶頸。

創(chuàng)紀(jì)錄的性能

在一次內(nèi)部測試中，IBM在一個有數(shù)百個GPU的集群上部署了DDL，并從一個受歡迎的研究數(shù)據(jù)集中發(fā)送處理750萬個圖像，將其分到22000個分類中的一個或者多個。該模型在經(jīng)過7個小時的訓(xùn)練之后，可準(zhǔn)確識別33.8%的對象，打包了之前微軟在經(jīng)過10天訓(xùn)練之后創(chuàng)下的29.8%的紀(jì)錄。

如果4%的改進(jìn)聽起來不足為奇，而且整體成功率還比較低，這是因?yàn)檫@個模型遠(yuǎn)比現(xiàn)實(shí)中遇到的更為復(fù)雜，IBM高性能計(jì)算及人工智能副總裁Sumit Gupta表示。所以改進(jìn)是循序漸進(jìn)的，他指出，微軟此前的紀(jì)錄只比上一次改進(jìn)了0.8%。這個基準(zhǔn)測試旨在強(qiáng)調(diào)深度學(xué)習(xí)軟件，以證明研究人員真正構(gòu)建了更好的模型。

DDL在訓(xùn)練人工智能開發(fā)的過程中尤其有用，這是整個項(xiàng)目生命中其中占用時間最長的之一。有時候模型需要花費(fèi)幾周甚至幾個月的時間來處理樣品數(shù)據(jù)，才能變得足夠準(zhǔn)確用于生產(chǎn)中。IBM稱，在某些情況下IBM的軟件庫可以將這個過程縮短至幾個小時?！叭绻枰?6天時間訓(xùn)練一個模型如何識別新的信用卡，那么這16天你就是在虧本的?！?/p>

深度學(xué)習(xí)在醫(yī)療場景中也很有用，例如組織分析，長時間的訓(xùn)練關(guān)于生存或者死亡的問題。此外還有其他好處，如果一個深度學(xué)習(xí)模型可以在數(shù)小時而不是數(shù)周時間內(nèi)完成訓(xùn)練，那么就能釋放企業(yè)的人工智能基礎(chǔ)設(shè)施，用于更快地完成其他項(xiàng)目和其他工作。

IBM還另外展示了如何利用DDL實(shí)現(xiàn)95%的擴(kuò)展效率，相比之下Facebook在此前的測試中記錄是89%。這兩個測試都使用了相同的樣本數(shù)據(jù)。

IBM表示，DDL幫助企業(yè)培訓(xùn)他們的模型，實(shí)現(xiàn)此前由于時間限制而無法實(shí)現(xiàn)的速度和范圍。它將DDL軟件庫與所有主流深度學(xué)習(xí)框架相連接，包括TensorFlow、Caffee、Chainer、Torch和Theano，都是在一個開源許可下的。

IBM還將這個軟件庫融入到自己的PowerAI深度學(xué)習(xí)共計(jì)套件平臺中，有免費(fèi)和付費(fèi)企業(yè)兩個版本，此外還有在Minbix Minsky Power Cloud上。Gupta表示：“我們將通過PowerAI把它帶給每個人?！?/p>