《電子技術應用》
您所在的位置:首頁 > 人工智能 > 設計應用 > 基于Star-Gan的人臉互換算法
基于Star-Gan的人臉互換算法
《信息技術與網絡安全》2020年第5期
易旭,白天
中國科學技術大學 軟件學院
摘要: 基于Star-Gan的人臉互換算法易旭,白天(中國科學技術大學 軟件學院,安徽 合肥 230026)基于深度學習的人臉互換算法會因背景人臉環境的明亮程度、人臉表情、姿勢等因素影響換臉效果,現階段的人臉互換模型存在固有的弊端。采用Patch-Gan(Generative Adversarial Networks)的判別器結構能通過全卷積網絡增強人臉局部一致性的效果。生成器將Unet結構的編碼器的特征輸出作為輸入,能考慮多層信息細節。整體模型架構采用Star-Gan的模型,引入實例歸一化層能保證圖像的獨立性。最后在Face-Forensics++人臉互換數據集上進行驗證,結果表明,融合的模型有較好的生成效果和細節。
中圖分類號:TP183 文獻標識碼:A DOI: 10.19358/j.issn.2096-5133.2020.05.003
引用格式:易旭,白天.基于Star-Gan的人臉互換算法[J].信息技術與網絡安全,2020,39(5):12-16.
Yi Xu,Bai Tian
School of Software Engineering,University of Science and Technology of China
Abstract: The effect of face swap algorithm based on deep learning will be affected by the brightness of the background face environment,facial expression,posture and other factors.There are inherent disadvantages in the current face swap models.The discriminator structure based on PatchGan can enhance the local consistency of human face through full convolution network.The generator takes the feature output of the Unet encoder as the input,and considers the multilayer information details.Among them,StarGan model is adopted as the overall model architecture,and case normalization layer is introduced to ensure the image independence.Finally,it is validated on FaceForensics++ face exchange data set.The results show that the optimized model has better generation effect and details.
Key words : deep learning;face swap;generative adversarial networks

隨著深度學習技術的興起,圖像處理相關的研究有了一項強有力的技術支持。人臉互換在圖像處理方面作為一個里程碑式的技術,意味著計算機能夠理解人臉圖像。如何通過對抗生成網絡實現人臉互換,提升生成效果是現如今計算機視覺的一大熱點。

對于傳統的方法Face-swap[1],人臉互換只是把目標人臉截取,粘貼到原始人臉上面,使用圖像融合的相關算法(如泊松融合)消除邊界,后續的改進一般是在圖像融合方面進行突破。

近年來,隨著深度神經網絡技術的成熟,KORSHUNOVA I[2]提出基于深度學習的人臉互換,將兩個人臉的身份信息看成是兩個不同圖片風格,為一個目標人物訓練一個深度神經網絡提取人臉特征,換臉其實就是替換人臉的高維隱空間向量,而后再用訓練好的人臉生成器進行生成,這種方式要求同一身份大量的人臉數據,其訓練得到的模型只適用于這兩個身份。YUVAL N[3]提出先使用3DMM模型擬合人臉,再互換人臉,解決了需要大量同一身份人臉圖片的問題,但3DMM仍然有人臉匹配失敗的問題,最終導致模型出錯。NATSUME R[4-5]提出了FSnet和RSGAN,使用編碼器學習整體人臉的編碼,對所有的人臉只學習一個單一的人臉身份編碼器網絡,但由于輸出的編碼是一個高維的人臉身份向量,特征信息依然高度糾纏。

本文借鑒前人的思想,使用Star-Gan模型作為生成器,利用Arcface[6]身份編碼器提取人臉高維身份特征,針對人臉細節的生成,使用基于U-net[7]的人臉特征編碼器模型為多層級的輸入,解決人臉特征糾纏的問題,使用PatchGan的思想改造判別器網絡結構,引入實例歸一化層提升生成效果。



本文詳細內容請下載http://m.xxav2194.com/resource/share/2000003093


作者信息:易旭,白天(中國科學技術大學 軟件學院,安徽 合肥 230026)

此內容為AET網站原創,未經授權禁止轉載。
主站蜘蛛池模板: 宅男噜噜噜66在线观看网站| 歪歪漫画在线观看页面免费漫画入口弹窗秋蝉| 国产高跟踩踏vk| 久久中文字幕一区二区| 欧美精品一区二区精品久久| 四虎永久免费地址在线观看| 亚洲国产成人久久精品软件| 翁止熄痒禁伦短文合集免费视频 | 男女作爱免费网站| 国产午夜亚洲精品不卡| 久久久久久国产精品mv| 污视频网站在线免费看| 国产精品久久久久网站| 一本大道香蕉在线观看| 男人的j进入女人的p的动态图| 国产大陆xxxx做受视频| 97久久精品无码一区二区| 成年人黄色毛片| 亚洲AV无码一区二区三区在线| 激情视频免费网站| 嗯灬啊灬老师别揉我奶了啊灬嗯| 欧美影院在线观看| 揄拍自拍日韩精品| 亚洲va久久久噜噜噜久久狠狠 | 天堂mv免费mv在线mv观看| 亚洲免费视频网站| 蜜桃视频一区二区三区| 国产精品日本一区二区在线播放| 久久国产精品99精品国产| 精品国产成人亚洲午夜福利| 国产香蕉一本大道| 中国日韩欧美中文日韩欧美色| 旧里番洗濯屋1一2集无删减| 午夜网站在线播放| 91欧美在线视频| 小雪你好紧好烫好爽| 久久久久亚洲AV成人无码| 欧美一级中文字幕| 亚洲热在线视频| 男女下面无遮挡一进一出| 哦哦哦用力视频在线观看|