據(jù)外媒報(bào)道，沙特阿拉伯阿卜杜拉國王科技大學(xué)（KAUST）的研究人員發(fā)現(xiàn)了一種能夠顯著提升訓(xùn)練速度的方法。通過觀察采用大型訓(xùn)練數(shù)據(jù)庫的分布式機(jī)器學(xué)習(xí)中產(chǎn)生結(jié)果零的頻率，可以顯著加快大型機(jī)器學(xué)習(xí)模型的訓(xùn)練速度。

計(jì)算機(jī)的1和0（圖片來源：techxplore.com）

       AI模型通過在數(shù)據(jù)庫上進(jìn)行訓(xùn)練來開發(fā)“智能”，而此類數(shù)據(jù)庫都被事先標(biāo)記好，以告知模型如何區(qū)分不同輸入信息，然后再做出相應(yīng)的反應(yīng)。輸入的已標(biāo)記數(shù)據(jù)越多，該模型就越擅長完成分配給它的任務(wù)。對于自動駕駛汽車等復(fù)雜深度學(xué)習(xí)應(yīng)用而言，它們需要大量輸入的數(shù)據(jù)庫以及很長的訓(xùn)練時間，即使采用了強(qiáng)大且昂貴的高度并行超級計(jì)算平臺也是如此。
       在訓(xùn)練期間，小型的學(xué)習(xí)任務(wù)被分配給數(shù)十或數(shù)百個計(jì)算節(jié)點(diǎn)，然后在運(yùn)行下一個任務(wù)之前，這些計(jì)算節(jié)點(diǎn)會通過通信網(wǎng)絡(luò)分享結(jié)果。在此種并行計(jì)算任務(wù)中，計(jì)算量消耗最大的來源之一是每個模型步驟中計(jì)算節(jié)點(diǎn)之間的通信。
       KAUST的研究人員表示：“在分布式深度學(xué)習(xí)中，通信是主要的性能瓶頸。隨著模型規(guī)模的迅速增長，我們還看到在學(xué)習(xí)過程中產(chǎn)生零值的比例在增加，稱為稀疏性。我們的想法是利用此種稀疏性，通過只發(fā)送非零數(shù)據(jù)塊來盡可能提高有效帶寬的使用效率?！?BR>       基于KAUST早期研發(fā)的SwitchML方法，即通過在處理數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)交換機(jī)上運(yùn)行高效的聚合代碼來優(yōu)化節(jié)點(diǎn)間的通信，研究人員希望能夠通過識別結(jié)果零，并研發(fā)一種方法，以在不中斷并行計(jì)算過程中，同步減少傳輸，而進(jìn)一步優(yōu)化該方法。
       研究人員表示：“確切地說，如何利用稀疏性來加速分布式訓(xùn)練是一個具有挑戰(zhàn)性的問題。所有的節(jié)點(diǎn)需要在同一時間內(nèi)處理同一個位置的數(shù)據(jù)塊，因此我們必須協(xié)調(diào)節(jié)點(diǎn)，以確保只聚合同一個位置的數(shù)據(jù)塊。為了克服這個問題，我們打造了一個聚合程序以協(xié)調(diào)此類工作者，指導(dǎo)它們接下來發(fā)送哪個數(shù)據(jù)塊。”
       該團(tuán)隊(duì)在一個由一組圖形處理單元（GPU）構(gòu)成的測試臺上展示了其OmniReduce方法，并且在典型深度學(xué)習(xí)任務(wù)中速度加快了7倍。

（轉(zhuǎn)載）