| 基于BERT-CNN的新聞文本分類的知識(shí)蒸餾方法研究 | |
| 所屬分類：技術(shù)論文 | |
| 上傳者：aetmagazine | |
| 文檔大小：3576 K | |
| 標(biāo)簽： 新聞文本 BERT CNN | |
| 所需積分：0分積分不夠怎么辦？ | |
| 文檔介紹：近年來，隨著大數(shù)據(jù)時(shí)代進(jìn)入人類的生活之后，人們的生活中出現(xiàn)很多無法識(shí)別的文本、語義等其他數(shù)據(jù)，這些數(shù)據(jù)的量十分龐大，語義也錯(cuò)綜復(fù)雜，這使得分類任務(wù)更加困難。如何讓計(jì)算機(jī)對(duì)這些信息進(jìn)行準(zhǔn)確的分類，已成為當(dāng)前研究的重要任務(wù)。在此過程中，中文新聞文本分類成為這個(gè)領(lǐng)域的一個(gè)分支，這對(duì)國家輿論的控制、用戶日常行為了解、用戶未來言行的預(yù)判都有著至關(guān)重要的作用。針對(duì)新聞文本分類模型參數(shù)量多和訓(xùn)練時(shí)間過長的不足，在最大限度保留模型性能的情況下壓縮訓(xùn)練時(shí)間，力求二者折中，故提出基于BERT-CNN的知識(shí)蒸餾。根據(jù)模型壓縮的技術(shù)特點(diǎn)，將BERT作為教師模型，CNN作為學(xué)生模型，先將BERT進(jìn)行預(yù)訓(xùn)練后再讓學(xué)生模型泛化教師模型的能力。實(shí)驗(yàn)結(jié)果表明，在模型性能損失約2.09%的情況下，模型參數(shù)量壓縮約為原來的1/82，且時(shí)間縮短約為原來的1/670。 | |
| 現(xiàn)在下載 | |
| VIP會(huì)員，AET專家下載不扣分；重復(fù)下載不扣分，本人上傳資源不扣分。 | |
新聞文本 相關(guān)資源
aetmagazine 的最新分享
Copyright ? 2005-2024 華北計(jì)算機(jī)系統(tǒng)工程研究所版權(quán)所有 京ICP備10017138號(hào)-2