以往注意機制模型通過加權所有局部特征計算和提取關鍵特征，忽略了各局部特征間的強相關性，特征間存在較強的信息冗余。為解決此問題，來自美圖云視覺技術部門和中科院自動化所的研發人員借鑒 PCA（主成分分析）思想，提出了一種引入局部特征交互感知的自注意機制模型，并將模型嵌入到 CNN 網絡中，提出一個端到端的網絡結構。該算法在多個學術數據集和美圖公司內部工業界視頻數據集上的行為分類表現都非常出色。基于該算法思想的相關論文「Interaction-aware Spatio-temporal Pyramid Attention Networks for Action Classification」已被 ECCV2018 收錄，下文將從背景、核心思想、效果和應用前景幾個方面進行介紹。

一、背景

深度卷積神經網絡中，特征圖里相鄰空間位置的局部通道特征，往往由于它們的感受野重疊而具有很高的相關性。自注意機制模型通常利用每個局部特征內部元素的加權和（或其他函數）來獲得其權重得分，此權重用于加權所有局部特征獲取關鍵特征。盡管局部特征之間具有很高的相關性，但此權重計算并沒有考慮到它們之間的相互作用。

PCA 可以提取全局特征主要維度的主成分信息，而這些主成分信息可以看作是提取的局部特征，最后降維后的全局特征即是關鍵局部特征的集合。注意機制的目的是從局部特征集合中提取關鍵部分，也就是 PCA 中的局部特征。不同的是注意力機制使用每個局部特征對應的加權得分來計算最終的全局特征。PCA 利用協方差矩陣來獲得降維（或加權權重）的基向量，從而減少特征間的信息冗余和噪聲。基于以上背景，該團隊使用 PCA 來指導提出的注意力模型，并通過將 PCA 算法轉換成損失設計實現。此外，由于深度網絡中的不同層可以捕獲不同尺度的特征圖，算法使用這些特征圖來構造空間金字塔，利用多尺度信息來計算每個局部通道特征更精確的注意力分數，這些權重得分用于在所有空間位置中對局部特征進行加權。

二、核心思想

本論文定義了一個新的交互感知時空金字塔注意力層，以此實現輸入在深度卷積神經網絡中各個層的不同尺度局部特征的交互感知和時空特征融合的功能。它的架構如上圖所示，算法首先定義了一個下采樣函數 R, 將不同層的特征圖統一到一個尺度。接著對不同尺度的特征圖的局部通道特征使用注意力機制進行關鍵特征提取，通過使用融合函數對不同尺度的特征進行融合，并計算每個局部特征的注意力得分，用于加權特征。

在 PCA 中使用協方差矩陣計算投影向量并依此進行降維，即提取關鍵的局部特征，本論文將其轉化損失函數的設計加入到最終的模型中：

再對提出的空間金字塔注意力模型進行約束，使其不同尺度層的特征圖盡量關注到不同的信息，加入分類損失得出最終的損失函數：

論文提出的模型參數與輸入特征圖的數目無關，因此，自然地將其拓展到視頻級端到端訓練的時空網絡，最終的網絡結構定義如下圖：

三、效果

 研發人員將提出的基于交互感知的時空金字塔注意力機制神經網絡算法應用于美圖公司的視頻相關業務進行人物行為分類，效果表現優異。除此之外在公開數據集 UCF101、HMDB51 和無裁剪行為數據庫 Charades 上進行了評測，也取得了領先效果，結果如下圖所示 ：

此外，該論文對視頻時空輸入進行了評測，評測結果顯示出該模型能夠同時處理任意數量的視頻幀輸入，并取得較好的實驗結果。

上圖給出了該算法在進行行為分類時的可視化輸出結果，可以看出該算法能夠對視頻中關鍵的行為進行精確定位。

四、展望

實際應用中，業務場景對算法的運行時間要求較嚴苛。本論文在公開數據集上的結果均通過截取視頻中的多幀得到，時間復雜度較高，后續會以降低算法時間復雜度為目標對核心模塊進行優化。值得注意的是，本論文提出的空間金字塔注意力模型不受其輸入特征圖數量的限制，因此它很容易擴展到一個可以兼容任意數量的輸入幀的時空版本，在應用中可以在分類準確率幾乎不受影響的前提下，通過減少截幀數提升處理速度。