0 引言

    HUANG G B等在2006年提出極限學習機（Extreme Learning Machine，ELM）^[1]。極限學習機是為單隱層前饋神經網絡(Single-hidden Layer Feedforward Neural Networks，SLFN)設計的學習算法，該算法需要人為調整的參數只有隱藏層神經元的個數，比傳統基于梯度下降的神經網絡訓練算法^[2-4]收斂速度快，泛化性能好。

    但在實際應用中，數據往往不能一次性獲取，當獲取到新的數據時，又要把新的數據和舊的數據放到一起來訓練網絡，會浪費許多時間。在線極限學習機（Online Sequential ELM，OS-ELM）^[5]可以將數據逐個或逐塊地添加到網絡中，當新的數據到來時，并不需要把舊的數據拿出來重新訓練。但由于在線極限學習機的淺層網絡結構，即使設置很多的隱藏層節點個數，仍然很難有效應對復雜的實際應用。同時，算法雖然能夠逐個或逐塊地學習數據，在較短的時間內達到較高的精度要求，但該算法對學習的時效性的數據不是太好，即數據在一段時間內是有效的，過一段時間后數據將失效（如天氣預測或股票預測等）。

    本文結合在線極限學習機原理和深度極限學習機自動編碼器(Deep ELM AutoEncoder，DELM-AE)^[6-7]原理，提出無監督的在線深度極限學習機自動編碼器(OS-DELM-AE)，使ELM-AE具備在線學習的能力；在OS-DELM-AE的基礎上進一步引入遺忘機制，提出FOS-DELM-AE(Forgetting Mechanism OSDELM-AE)；并用FOS-DELM-AE做無監督的特征學習，FOS-ELM^[8]做有監督的目標學習，使OS-ELM具備深層網絡結構的同時，能適應很強時效性的應用。

1 深度極限學習機自動編碼器原理簡介

    相比淺層網絡，深層網絡能更好地處理高維數據；更接近人腦，對輸入數據的特征進行層次化提取；能獲得更多有用信息等。文獻[6]用極限學習機訓練深度自動編碼器，每一層看作是一次極限學習機的訓練，每層訓練結束后將不再調整參數；上一層的輸出作為下一層的輸入，依次以極限學習機的訓練方式訓練自動編碼器，從而形成深度極限學習機自動編碼器。其網絡模型如圖1所示。

    其中，自動編碼器是一種無監督的學習方法，最初主要用于高維數據處理，自動編碼器通過盡可能復現輸入信號，學習到代表輸入數據的新的特征。自動編碼器由編碼器和解碼器組成。編碼器在網絡的訓練和部署時使用，而解碼器只在訓練時使用。通過隨機映射輸入信號，自動編碼器重構輸入信號的問題就成了極限學習機問題。

2 FOS-DELM

2.1 OS-DELM-AE

    近年來，深度學習^[9-12]成為研究熱點，深度學習得到了極大發展，在深度學習發展的同時，在線深度學習的發展也得到了新的支撐^[13-15]。本文在OS-ELM原理和深度ELM-AE原理的啟發下，提出了OS-DELM-AE，將ELM-AE在線化，每一層OS-ELM-AE訓練完成之后不再調整參數，上一層OS-ELM-AE的輸出作為下一層OS-ELM-AE的輸入，逐層訓練OS-DELM-AE，通過OS-DELM-AE，將樣本特征分層提取，并具備在線學習的能力。下面是OS-DELM-AE的具體算法步驟。

2.1.1 第1層特征學習

2.1.2 第p層特征學習

2.2 FOS-DELM

    遺忘機制是逐步驅除有錯誤可能及過時信息數據的有效方法，ZHAO J等^[8]在OS-ELM算法中結合了遺忘機制，提出遺忘機制FOS-ELM算法。本文將遺忘機制引入到OS-DELM-AE中，提出了FOS-DELM-AE方法，使OS-DELM-AE能有效驅除錯誤信息及過時信息數據。以FOS-DELM-AE方法做無監督特征學習，以FOS-ELM做目標學習，提出基于遺忘機制的在線深度極限學習機（FOS-DELM）。

    設以前的數據塊為Ω_k-s+1，新添的數據塊為Ω_k+1，各層OS-DELM-AE輸出權重的迭代計算公式為：

其中，X_k+1為第k+1塊數據樣本輸入，s是每個數據塊的有效單位時間。在OS-DELM-AE算法中，要計算β^k+1，需要知道從N₀～N_k+1的所有數據塊，而FOS-DELM-AE算法計算β^k+1時，只需要第k+1次添加的數據塊Ω_k+1和第k-s+1次添加的數據塊Ω_k-s+1。這是使FOS-DELM-AE算法具備有效去除有可能是錯誤信息的過時數據的關鍵。

3 實驗評估

    本文算法FOS-DELM選用JINAN QINGQI MTCYCL、HUAXIN CEMENT、HAINAN AIRLINES、JINZHOU PORT等數據集，與OS-ELM、FOS-ELM算法做對比實驗。評價指標為均方根誤差(RMSE)(均方根誤差越小效果越好)、判定系數(R-square)(判斷系數越接近1代表擬合程度越高)以及訓練時間作為評價指標。其中FOS-DELM采用3層結構，前兩層為FOS-DELM-AE，最后一層為FOS-ELM。實驗結果見表1～表6。

    由表1、表3、表5可知，FOS-DELM較OS-ELM、FOS-ELM降低了RMSE；由表2、表4、表6可知，FOS-DELM較OS-ELM、FOS-ELM提升了R-square。

    對水環境中DO（水中溶氧量參數指標）、NH3-N（水中氨氮含量指標）進行實驗測試，如圖2和圖3所示，橫坐標表示某個時刻，縱坐標表示某個時刻對應值。該結果圖選取連續52個時刻的值作為展示，其他時刻有類似效果。從圖2、圖3的擬合效果看，FOS-DELM對水質指標的擬合程度比FOS-ELM更高。綜合上述實驗分析來看，FOS-DELM可以作為在線學習的有效方法，并具備深度學習和實效性強等優勢。

4 結束語

    本文結合在線極限學習機原理和深度極限學習機自動編碼器原理，提出無監督的在線深度極限學習機自動編碼器，使ELM-AE具備在線學習的能力；在深層在線ELM-AE的基礎上進一步引入遺忘機制，提出FOS-DELM-AE；并用FOS-DELM-AE做無監督的特征學習，FOS-ELM做有監督的目標學習，使OS-ELM具備深層網絡結構的同時，具備在線學習能力。最后通過基于指標RMSE和R-square的實驗驗證了本文算法FOS-ELM的有效性。

參考文獻

[1] HUANG G B，ZHU Q Y，SIEW C K.Extreme learning machine：theoryand applications[J].Neurocomputing，2006，70：489-501.

[2] JIAN W，WEN Y，GOU Y，et al.Fractional-order gradient descent learning of BP neural networks with Caputo derivative[J].Neural Networks，2017，89：19-30.

[3] 王洪元，史國棟.人工神經網絡技術及其應用[M].北京：中國石化出版社，2003.

[4] 郁磊.MATLAB智能算法30個案例分析[M].北京：北京航空航天大學出版社，2015.

[5] LIANG N Y，HUANG G B，SARATCHANDRAN P，et al.A fast and accurate online sequential learning algorithm for feedforward networks[J].IEEE Transactions on Neural Networks，2006，17(6)：1411-1423.

[6] Tang Jiexiong，Deng Chenwei，Huang Guangbin.Extreme learning machine for multilayer perceptron[J].IEEE Transactions on Neural Networks and Learning Systems，2015，27(4)：1210-1213.

[7] 劉勘，袁蘊英.基于自動編碼器的短文本特征提取及聚類研究[C].CCF國際自然語言處理與中文計算會議，2014：120-121.

[8] ZHAO J，WANG Z，DONG S P.Online sequential extreme learning machine with forgetting mechanism[J].Neurocomputing，2012，87(15)：79-89.

[9] SCHMIDHUBER J.Deep learning in neural networks：an overview[J].Neural Networks，2015，61：85-117.

[10] NODA K，YAMAGUCHI Y，NAKADAI K，et al.Audiovisual speech recognition using deep learning[J].Applied Intelligence，2015，42(4)：722-737.

[11] READ J，PEREZCRUZ F.Deep learning for multi-label classification[J].Machine Learning，2014，85(3)：333-359.

[12] RAHHAL M M A，BAZI Y，ALHICHRI H，et al.Deep learning approach for active classification of electrocardiogram signals[J].Information Sciences，2016，345(1)：340-354.

[13] YAN X，JING Y，ZHONG S.An online supervised learning method based on gradient descent for spiking neurons[J].Neural Networks，2017，93：7-20.

[14] LEI Y，ZHOU D X.Analysis of online composite mirror descent algorithm[J].Neural Computation，2017，29(3)：825-860.

[15] CHENG W Y，JUANG C F.A fuzzy model with online incremental SVM and margin-selective gradient descent learning for classification problems[J].IEEE Transactions on Fuzzy Systems，2015，22(2)：324-337.

作者信息：

劉步中1，2

(1.江蘇省中小企業電子產品工程技術研發中心，江蘇 淮安223003；2.淮安信息職業技術學院，江蘇 淮安223003）