英特爾稱 Nervana NNP 是專為深度學習定做的架構,擁有新的存儲器架構,更高的可擴展性、數值並行化,並且英特爾有將深度學習性能提升100倍的野心,讓用戶從已有硬件(並非專門為 AI 而設計)的性能限製中解放出來。
英特爾 Nervana NNP 並冇有標準的高速緩存層次結構,而且單片存儲器由軟件直接控製以更好控製存儲過程,從而使芯片可以在每一次內存釋放(die)中獲得高度的計算資源效用,這意味著能將深度學習模型的訓練時間大大縮短。
AI 模型的可擴展性達到新的層次
英特爾 Nervana NNP 擁有高速的開和關(on and off)的芯片內部數據互聯,從而允許大量數據的雙嚮轉換。這種設計的目的是實現真正的模型並行化,即神經網絡的參數分佈在多個芯片中。這使得多個芯片像一個大型虛擬芯片工作,因而能容納大型的模型,使客戶能從數據中獲得更多的洞見。
高度的數值並行化:Flexpoint
在單個芯片上做神經網絡計算極大地受到能耗和存儲帶寬的限製。為了使神經網絡的工作負載能獲得更大的吞吐量,除了上述的存儲技術革新,英特爾還發明了一種新的數值類型,Flexpoint。Flexpoint 允許使用定點乘法和加法實現標量計算,並可以通過共享指數實現大動態範圍。由於每一次循環變得更小,使得在每一次投擲中能實現更大規模的並行化,同時大大降低每一次計算的能耗。
英特爾稱這隻是這個矽基芯片係列的第一個産品,並計劃利用這個係列在 2020 年將深度學習訓練的性能提升 100 倍。
矽基芯片,英特爾,Nervana,NNP