| 融合多教師模型的知識蒸餾文本分類 | |
| 所屬分類：技術論文 | |
| 上傳者： | |
| 文檔大小：3704 K | |
| 標簽： 文本分類 知識蒸餾 BERT-wwm-ext | |
| 所需積分：0分積分不夠怎么辦？ | |
| 文檔介紹：針對簡單文本分類模型精度不高，預訓練模型結構復雜，在實際環(huán)境中難以直接使用的問題，提出多教師知識蒸餾的文本分類方法。該模型使用“教師-學生網絡”的訓練方法，教師模型為BERT-wwm-ext和XLNet預訓練模型，將兩個模型輸出的概率矩陣通過權重系數(shù)融合為軟標簽。學生模型為BiGRU-CNN網絡，使用均方差函數(shù)計算軟標簽誤差，使用交叉熵損失函數(shù)計算硬標簽誤差，通過硬標簽和軟標簽訓練學生模型使損失函數(shù)值達到最小。實驗結果表明，提出的方法精度較學生模型有較大的改進，接近預訓練模型，在保證分類精度的前提下減少了運行時間，提高了效率。 | |
| 現(xiàn)在下載 | |
| VIP會員，AET專家下載不扣分；重復下載不扣分，本人上傳資源不扣分。 | |
Copyright ? 2005-2024 華北計算機系統(tǒng)工程研究所版權所有 京ICP備10017138號-2