《電子技術應用》
您所在的位置:首頁 > 可編程邏輯 > 業界動態 > 資源 | 帶自注意力機制的生成對抗網絡,實現效果怎樣?

資源 | 帶自注意力機制的生成對抗網絡,實現效果怎樣?

2018-06-06

在前一段時間,Han Zhang 和 Goodfellow 等研究者提出添加了自注意力機制的生成對抗網絡,這種網絡可使用全局特征線索來生成高分辨率細節。本文介紹了自注意力生成對抗網絡的 PyTorch 實現,讀者也可以嘗試這一新型生成對抗網絡。


項目地址:https://github.com/heykeetae/Self-Attention-GAN


這個資源庫提供了一個使用 PyTorch 實現的 SAGAN。其中作者準備了 wgan-gp 和 wgan-hinge 損失函數,但注意 wgan-gp 有時與譜歸一化(spectral normalization)是不匹配的;因此,作者會移除模型所有的譜歸一化來適應 wgan-gp。


在這個實現中,自注意機制會應用到生成器鑒別器的兩個網絡層。像素級的自注意力會增加 GPU 資源的調度成本,且每個像素有不同的注意力掩碼。Titan X GPU 大概可選擇的批量大小為 8,你可能需要減少自注意力模塊的數量來減少內存消耗。

微信圖片_20180606202238.jpg




目前更新狀態:


注意力可視化 (LSUN Church-outdoor)

無監督設置(現未使用標簽)

已應用:Spectral Normalization(代碼來自 https://github.com/christiancosgrove/pytorch-spectral-normalization-gan)

已實現:自注意力模塊(self-attention module)、兩時間尺度更新規則(TTUR)、wgan-hinge 損失函數和 wgan-gp 損失函數


結果


下圖展示了 LSUN 中的注意力結果 (epoch #8):

微信圖片_20180606202309.jpg




SAGAN 在 LSUN church-outdoor 數據集上的逐像素注意力結果。這表示自注意力模塊的無監督訓練依然有效,即使注意力圖本身并不具有可解釋性。更好的圖片生成結果以后會添加,上面這些是在生成器第層 3 和層 4 中的自注意力的可視化,它們的尺寸依次是 16 x 16 和 32 x 32,每一張都包含 64 張注意力圖的可視化。要可視化逐像素注意力機制,我們只能如左右兩邊的數字顯示選擇一部分像素。


CelebA 數據集 (epoch on the left, 還在訓練中):


微信圖片_20180606202335.jpg


LSUN church-outdoor 數據集 (epoch on the left, 還在訓練中):


微信圖片_20180606202401.jpg


訓練環境:


Python 3.5+ (https://www.continuum.io/downloads)

PyTorch 0.3.0 (http://pytorch.org/)


用法


1. 克隆版本庫


$ git clone https://github.com/heykeetae/Self-Attention-GAN.git

$ cd Self-Attention-GAN


2. 下載數據集 (CelebA 或 LSUN)


$ bash download.sh CelebA
or
$ bash download.sh LSUN


3. 訓練


$ python python main.py --batch_size 6 --imsize 64 --dataset celeb --adv_loss hinge --version sagan_celeb
or
$ python python main.py --batch_size 6 --imsize 64 --dataset lsun --adv_loss hinge --version sagan_lsun


4. 享受結果吧~



$ cd samples/sagan_celeb
or
$ cd samples/sagan_lsun


每 100 次迭代生成一次樣本,抽樣率可根據參數 --sample_step (ex,—sample_step 100) 控制。


論文:Self-Attention Generative Adversarial Networks


微信圖片_20180606202539.jpg


論文地址:https://arxiv.org/abs/1805.08318


在此論文中,我們提出了自注意生成式對抗網絡(SAGAN),能夠為圖像生成任務實現注意力驅動的、長范圍的依存關系建模。傳統的卷積 GAN 只根據低分辨特征圖中的空間局部點生成高分辨率細節(detail)。在 SAGAN 中,可使用所有特征點的線索來生成高分辨率細節,而且鑒別器能檢查圖片相距較遠部分的細微細節特征是否彼此一致。不僅如此,近期研究表明鑒別器調節可影響 GAN 的表現。根據這個觀點,我們在 GAN 生成器中加入了譜歸一化(spectral normalization),并發現這樣可以提高訓練動力學。我們所提出的 SAGAN 達到了當前最優水平,在極具挑戰性的 ImageNet 數據集中將最好的 inception 分數記錄從 36.8 提高到 52.52,并將 Frechet Inception 距離從 27.62 減少到 18.65。注意力層的可視化展現了生成器可利用其附近環境對物體形狀做出反應,而不是直接使用固定形狀的局部區域。


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 熟女性饥渴一区二区三区| 69堂在线观看| 日日摸日日碰人妻无码| 亚洲欧美另类精品久久久| 美女羞羞视频网站| 国产欧美日韩综合精品一区二区| www.jizzonline.com| 日本免费精品视频| 亚洲国产精品成人午夜在线观看 | 国产精品自在线拍国产电影| 中文字幕专区高清在线观看| 最近中文字幕高清中文字幕电影二| 亚洲黄色中文字幕| 美女被免费网站91色| 国产成人无码精品久久二区三区 | 制服丝袜日韩欧美| 高清一级淫片a级中文字幕| 国产香港特级一级毛片| 一品道一本香蕉视频| 日本乱理伦电影在线| 亚洲午夜精品国产电影在线观看| 男人桶女人的肌肌30分| 国产60部真实乱| 黄网站欧美内射| 国产精品兄妹在线观看麻豆| a4yy私人影院| 性xxxxx大片免费视频| 久久久久波多野结衣高潮| 欧美亚洲人成网站在线观看 | 2019国产精品| 天天成人综合网| 两个体校校草被c出水| 日本在线视频WWW色影响| 亚洲丶国产丶欧美一区二区三区| 波多野结衣一区2区3区| 动漫美女被吸乳羞羞网站动漫| 青青青青青免精品视频 | 浮力影院第一页小视频国产在线观看免费| 可以看的毛片网站| 被按摩的人妻中文字幕| 国产成人国产在线观看入口|