受新冠肺炎疫情影響，全球數(shù)字化轉(zhuǎn)型進(jìn)程加快，存儲(chǔ)器半導(dǎo)體技術(shù)的演變模式也隨之發(fā)生改變。人工智能（AI,Artificial Intelligence）、物聯(lián)網(wǎng)（IoT,Internet of Things）和大數(shù)據(jù)等技術(shù)正迅速發(fā)展，并廣泛應(yīng)用于遠(yuǎn)程辦公、視頻會(huì)議和在線(xiàn)課堂中，導(dǎo)致待處理的數(shù)據(jù)量激增。有數(shù)據(jù)顯示，到2025年，全球數(shù)據(jù)量將達(dá)到163澤字節(jié)(zettabytes)1，其中有5.2澤字節(jié)(zettabytes)需進(jìn)行數(shù)據(jù)分析。

當(dāng)前的計(jì)算機(jī)系統(tǒng)采用馮·諾伊曼(Von Neumann)體系結(jié)構(gòu)2。根據(jù)圖1所示的內(nèi)存層次結(jié)構(gòu)，當(dāng)中央處理器（CPU）處理來(lái)自片外主內(nèi)存（DRAM）的數(shù)據(jù)時(shí)，常用數(shù)據(jù)會(huì)被存儲(chǔ)在快速且高能效的緩存（L1、L2、L3）中，以提高性能和能效。但是，在處理大量數(shù)據(jù)的應(yīng)用中，大部分?jǐn)?shù)據(jù)需從主內(nèi)存中讀取，因?yàn)榇幚淼臄?shù)據(jù)規(guī)模非常大，超出了緩存的存儲(chǔ)規(guī)模。

△ 圖1：內(nèi)存層次結(jié)構(gòu)

在這種情況下，CPU和主內(nèi)存之間的內(nèi)存通道帶寬成為性能瓶頸3，并且在CPU和主內(nèi)存之間傳輸數(shù)據(jù)需要消耗大量能量。要突破這一瓶頸，需要擴(kuò)展CPU和主內(nèi)存之間的通道帶寬，但是若當(dāng)前CPU的針腳數(shù)量已經(jīng)達(dá)到極限，帶寬的進(jìn)一步改進(jìn)便將面臨技術(shù)方面的難題。在數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)計(jì)算分離的現(xiàn)代計(jì)算機(jī)結(jié)構(gòu)中，此類(lèi)內(nèi)存墻問(wèn)題的出現(xiàn)是不可避免的。

假設(shè)處理器進(jìn)行乘法運(yùn)算的功耗約為1，將數(shù)據(jù)從DRAM提取到處理器所消耗的能量是實(shí)際運(yùn)算所需能量的650倍，這表明最大限度地減少數(shù)據(jù)傳輸量對(duì)于性能和能效的改進(jìn)非常重要。（圖2）

深度神經(jīng)網(wǎng)絡(luò)（DNN,Deep Neural Network）4是機(jī)器學(xué)習(xí)（ML,Machine Learning）的一種，其中最具代表性的是應(yīng)用于計(jì)算機(jī)視覺(jué)（CV,Computer Vision）的卷積神經(jīng)網(wǎng)絡(luò)（CNN,Convolutional Neural Networks）和應(yīng)用于自然語(yǔ)言處理（NLP,Natural Language Processing）的遞歸神經(jīng)網(wǎng)絡(luò)（RNN,Recurrent Neural Networks）。近來(lái)，推薦模型（RM,Recommendation Model）等新應(yīng)用也傾向于采取DNN技術(shù)。其中，遞歸神經(jīng)網(wǎng)絡(luò)主要用于進(jìn)行矩陣向量乘法運(yùn)算。遞歸神經(jīng)網(wǎng)絡(luò)具有數(shù)據(jù)重用量低的特點(diǎn)，內(nèi)存讀取次數(shù)越多，通過(guò)內(nèi)存通道傳輸?shù)臄?shù)據(jù)就越多，這也成為提高性能的瓶頸。

為了突破性能瓶頸，業(yè)界正在重新審視應(yīng)用內(nèi)存中處理（PIM,Processing In Memory）5概念的DRAM。從定義可以看出，PIM技術(shù)指直接在內(nèi)存中處理數(shù)據(jù)，而不是把數(shù)據(jù)從內(nèi)存讀取到CPU中再進(jìn)行處理。這樣可以最大限度地減少數(shù)據(jù)傳輸量，幫助克服上述瓶頸。從20世紀(jì)90年代末到21世紀(jì)初，學(xué)術(shù)界一直在積極研究這一概念，但由于DRAM工藝和邏輯工藝存在技術(shù)上的難點(diǎn)，且若以DRAM為載體在內(nèi)存中實(shí)現(xiàn)CPU的功能，成本會(huì)相應(yīng)增加，這導(dǎo)致PIM技術(shù)不具備競(jìng)爭(zhēng)優(yōu)勢(shì)，因此遲遲未能進(jìn)入商業(yè)化階段。然而，PIM需求的日益增長(zhǎng)以及工藝技術(shù)的進(jìn)步重新喚起了實(shí)施PIM的可能性。

要想理解PIM，必須先了解人工智能的需求。圖3給出了神經(jīng)網(wǎng)絡(luò)的全連接（FC,Fully Connected）層6示例。左圖中，輸出神經(jīng)元y1與輸入神經(jīng)元x1、x2、x3和x4相連，并且各個(gè)連接的突觸權(quán)重分別為w11、w12、w13和w14。在處理全連接層的過(guò)程中，人工智能運(yùn)算單元將各個(gè)輸入神經(jīng)元的權(quán)重相乘，再將各項(xiàng)乘積相加，然后應(yīng)用如線(xiàn)性整流函數(shù)（ReLU,Rectified Linear Unit）等激活函數(shù)7。概括而言，如右圖所示，如果存在多個(gè)輸入神經(jīng)元（x1，x2，x3，x4）和輸出神經(jīng)元（y1，y2，y3），人工智能計(jì)算單元會(huì)將各個(gè)輸入神經(jīng)元的連接權(quán)重相乘，再將乘積相加。事實(shí)上，這些運(yùn)算可以被視為矩陣的乘法和加法運(yùn)算，因?yàn)檩斎肷窠?jīng)元被等量使用。

如圖4所示，如果內(nèi)存中可以加入這些運(yùn)算回路，則無(wú)需再將數(shù)據(jù)傳輸?shù)教幚砥髦刑幚恚恍鑼⒔Y(jié)果傳送到處理器即可。這樣可以顯著減少高能耗的數(shù)據(jù)傳輸操作，從而提高復(fù)雜運(yùn)算的能源效率。基于這樣的應(yīng)用理念，SK海力士正在開(kāi)發(fā)PIM DRAM。對(duì)于遞歸神經(jīng)網(wǎng)絡(luò)等內(nèi)存受限型應(yīng)用，如果可以在DRAM中加入運(yùn)算回路，則有望顯著提高性能和能效。鑒于需要處理的數(shù)據(jù)量將繼續(xù)大幅增加，PIM有望成為提高當(dāng)前計(jì)算機(jī)系統(tǒng)性能限度的有力選擇。

注釋?zhuān)?/p>

11澤字節(jié)等于1021字節(jié)

2馮·諾伊曼體系結(jié)構(gòu)使用CPU和存儲(chǔ)裝置來(lái)驅(qū)動(dòng)計(jì)算機(jī)。

3這一性能瓶頸也稱(chēng)為馮·諾伊曼瓶頸，即，由于處理器在讀取內(nèi)存過(guò)程中處于空閑狀態(tài)，計(jì)算機(jī)系統(tǒng)的吞吐量會(huì)受處理器的限制。

4深度神經(jīng)網(wǎng)絡(luò)（DNN, Deep Neural Network）是輸入層和輸出層之間的多層人工神經(jīng)網(wǎng)絡(luò)（ANN, Artificial Neural Network）。神經(jīng)網(wǎng)絡(luò)種類(lèi)多樣，但均由相同的部分構(gòu)成：神經(jīng)元、突觸、權(quán)重、偏置和函數(shù)。

5內(nèi)存中處理（PIM，有時(shí)稱(chēng)為存內(nèi)計(jì)算）指將處理器與RAM（隨機(jī)存取存儲(chǔ)器）集成在單個(gè)芯片上。集成后的芯片也被稱(chēng)為PIM芯片。

6全連接層：每一層的任意一個(gè)神經(jīng)元均與其前一層的所有神經(jīng)元相連接。現(xiàn)行大多數(shù)機(jī)器學(xué)習(xí)模型中，最后幾層都是全連接層，全連接層會(huì)編譯前幾層提取的數(shù)據(jù)并進(jìn)行最終輸出。

7神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)用于定義如何將輸入神經(jīng)元的加權(quán)和映射到網(wǎng)絡(luò)某一層中一個(gè)或多個(gè)節(jié)點(diǎn)的輸出端。線(xiàn)性整流激活函數(shù)（ReLU, Rectified Linear Unit）是一個(gè)分段線(xiàn)性函數(shù)，它把所有的負(fù)值都變?yōu)?，而正值不變。