近年來，我們目睹了“深度學習”的興起，這一領域試圖實現類似于人類行為的推理和智能水平。
人工神經網絡（ANN）精煉出的數學公式是相對于能夠有效運行這些網絡的物理設備的開發而開發的。人們經常拿計算機和人類大腦進行比較，它們的底層結構截然不同。神經網絡的一個明顯特性是它們的蜂窩狀特性。因此，基本的“cell”結構是探索的方面之一，一個顯而易見的原因是它多次重復。因此，效率的重要性。將是本文討論的重點。
ANN理論指引
人工神經網絡的基礎是一大堆稱為神經元的元素，通常以緊密相連的束排列。簡而言之，神經元是一種特征在于具有多個輸入和單個輸出的單元。單元的輸出是輸入的直接函數，每個輸入在對輸出的總體貢獻中得到不同的“關注”，這種“關注”水平通常被稱為權重。此外，輸出可能帶有一些閾值效應，只有當神經元超過閾值（也稱為“已觸發”）時才會產生響應。連接到“射擊”（firing）神經元的線下神經元的相關輸入將被“激發”，并且該過程將在整個網絡中傳輸以達到最終輸出。
圖1 ：神經元生物學靈感（左）及其人工，概念等效圖（右）。樹突作為輸入; 軸突是輸出，聚合發生在“細胞”內。
在定義等效模型時，最常見的方法是加權求和，并將非線性應用于輸出。這種方法在以簡單而有意義的方式捕捉概念的本質方面非常有用。然而，在嘗試捕獲生物行為的更精細方面時，要尋求更復雜的模型。這些反映了可能導致更完整的神經元描述的其他屬性，并且出于實際原因，可以提供克服基本表示法固有的一些性能障礙的實現替代方案。
模擬神經元行為的選項涉及時域，頻域和幅域表示。這些選項可以用閉合的數學形式很容易地表達，如下所述。
直接的離散模型，將神經元表示為輸入的加權和（圖2a）; 脈沖序列，其中脈沖序列代表活動，它們的時間速率決定激發水平 - 這是表示人體中神經細胞活動的最接近表示的圖形（圖2b）和連續表示。
圖2：a）離散（b）脈沖和（c）連續模型的數學表示。
模擬和數字實現
用于神經元實現的各種方法需要解決兩個基本問題：（i）處理 - 負責計算輸入和權重輸出的部分；（ii）數據傳輸 - 負責數據傳輸和存儲的部分。
雖然采用數字電路實現在現代大規模IC設計中更為常見，但最近的方法越來越多地通過模擬電路實現。神經元的數字實現基于乘法和累加電路。每個操作都涉及讀取輸入和權重，并產生中間結果。該過程重復多次。在求和結束之后，需要將非線性應用于結果值，并且將結果呈現為神經元輸出。每N個循環可獲得一次結果。此后應存儲該結果。
圖3：數字電路構建功能塊
模擬電路則利用信號的連續性來表示某些物理電平的總和（例如，電壓電位的總和，或電流的總和），并獲得免除有限世界長度表示問題的連續信號。
圖4：模擬電路構建的功能塊（連續操作）
模擬電路的另一種變型是基于脈沖的電路，其利用恒定幅度的脈沖序列的概念。在這種情況下，激勵水平取決于速率。這個概念大部分類似于腦神經元活動。
圖5：模擬電路構建的功能塊（脈沖操作）
在模擬情況下，數據存儲是一項非常重要的挑戰。它可以通過轉換到數字域來解決，這意味著需要進行某種模數轉換，同時在獲取數據時進行數據和數模轉換。或者，輸出可以直接饋送到下一級，從而避免任何存儲操作。如果設計能夠支持所需的帶寬，則后一種方法是高效的。如果需要，可以應用一些電容以允許帶寬控制。（注意：圖3、4和5顯示了實現每個前面提到的方法的一個選項，并沒有包含所有實現細節）
性能
在研究各種方法的性能時，很明顯，雖然數字化方案已經得到了很好的建立，但它受到CMOS技術障礙的限制，如~0.4V的晶體管級閾值電壓，低于3GHz的標準單元、與工藝相關的最大時鐘頻率和占空比限制。對于單個8位乘加運算，這將導致處理節點的下界約為~100fJ。
相反，模擬電路在理論上受熱噪聲的約束，熱噪聲大約為0.01fJ。這比數字電路低四個數量級。因此，有理由基于模擬計算結構構建電路。然而，實際部署受到各種問題的挑戰，例如將數據傳遞到所描述的大量計算單元，與其連接相關的寄生效應，有效存儲輸出以及最終轉化為大規模設計流程和批量生產技術的能力。在實踐中，有報告表明，計算單元的可實現能量為1~10fJ。在這些實現中，實際上計算單元能量變得可以忽略不計，然而，總能量主要由周圍電路和存儲單元支配。
總而言之，在基于數字電路構建的功能塊之上的X10~X100的實際效率在小規模下是可以實現的，但是一旦單元規模擴大，其效率就會迅速下滑。
圖6：相關的操作域圖
圖6是不同方法的定性描述。模擬電路的效率損失主要是由于實現損耗（即，檢測器電路具有一些內部噪聲，其降低了信噪比并且需要更好的裕度）。在這種情況下，脈沖方法具有較低的檢測閾值。放大模擬解決方案時，會觀察到噪聲耦合。這種效應隨著解決方案規模的增長而增長（在連續方法中更為顯著）。數字方法受這種耦合效應的影響較小。實際上，從模擬到數字的能量差距歸因于更高的電壓電平和工作頻率，這在模擬情況下要高得多。
實際上，大規模電路設計在過去幾十年中已經成熟，且獲得的行業經驗不容易被忽視。因此，可擴展性和產品化在很大程度上限制了使基于模擬的解決方案成為解決一般問題的主要方法的能力。此外，在系統層面，不能忽視次要貢獻者。一旦計算單元貢獻降低到合理水平，進一步改進就變得不那么重要了。
系統層面
到目前為止，這個討論一直致力于構建功能塊級別。但是，忽略系統的其余部分是不完整的。系統級分析應該考慮所有貢獻者，并考慮到在某個時刻基本處理的改進因素可以忽略不計的事實。能量分布就是這種情況。
迄今為止，在運行機器學習任務時，最先進的解決方案正在努力達到0.1~1TOPS / W. 這相當于每次操作1~10pJ。如前所述，由于0.1pJ的神經元平臺的數字實現，然后90％~99％的能量仍然存在于包括存儲單元、控制結構和總線架構的其他領域中。因此，利用潛力進行架構改造至關重要。僅通過轉換到模擬方案回收的能量上限為所消耗的總能量的10%。
對照
下表列出了各種方法的一些關鍵屬性，并總結了上面提到的大多數項目。
表1：模擬和數字電路基礎神經網絡的比較
結語
總而言之，顯而易見的是，機器學習的活躍特性將帶來新的和有趣的技術，這些技術將逐步成熟并滿足各種市場需求。
模擬解決方案在神經網絡計算引擎領域展現出了巨大的發展潛力。一旦成熟，它很可能成為各種神經計算解決方案中的補充元素，并可能解決一些具有挑戰性的案例。盡管如此，由于其有限的可擴展性，技術節點敏感度，以及它提供的解決方案與相對有限的應用程序子集相關，而數字解決方案可提供有效的解決方案，因此，目前還很難預見基于模擬電路的解決方案何時能在該領域實現靈活的替代，并占據主導地位。
原文鏈接：http://www.eenewsanalog.com/news/analog-and-digital-circuits-machine-learning