《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 其他 > 設(shè)計應(yīng)用 > 基于單階段GANs的文本生成圖像模型
基于單階段GANs的文本生成圖像模型
信息技術(shù)與網(wǎng)絡(luò)安全
胡 濤1，李金龍2
(1.中國科學(xué)技術(shù)大學(xué) 大數(shù)據(jù)學(xué)院，安徽 合肥230026； 2.中國科學(xué)技術(shù)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，安徽 合肥230026)
摘要： 針對目前生成以文本為條件的圖像通常會遇到生成質(zhì)量差、訓(xùn)練不穩(wěn)定的問題，提出了通過單階段生成對抗網(wǎng)絡(luò)(GANs)生成高質(zhì)量圖像的模型。具體而言，在GANs的生成器中引入注意力機制生成細(xì)粒度的圖像，同時通過在判別器中添加局部-全局語言表示，來精準(zhǔn)地鑒別生成圖像和真實圖像；通過生成器和判別器之間的相互博弈，最終生成高質(zhì)量圖像。在基準(zhǔn)數(shù)據(jù)集上的實驗結(jié)果表明，與具有多階段框架的最新模型相比，該模型生成的圖像更加真實且取得了當(dāng)前最高的IS值，能夠較好地應(yīng)用于通過文本描述生成圖像的場景。
中圖分類號： TP391
文獻(xiàn)標(biāo)識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.06.009
引用格式： 胡濤，李金龍. 基于單階段GANs的文本生成圖像模型[J].信息技術(shù)與網(wǎng)絡(luò)安全，2021，40(6)：50-55.
Text to image generation based on single-stage GANs
Hu Tao1，Li Jinlong2
(1.School of Data Science，University of Science and Technology of China，Hefei 230026，China； 2.School of Computer Science and Technology，University of Science and Technology of China，Hefei 230026，China)
Abstract： For the current generation of images conditioned on text usually encounters the problems of poor quality and unstable training, a model for generating high-quality images through single-stage generative adversarial networks (GANs) is proposed. Specifically, the attention mechanism is introduced into the generator to generate fine-grained images, also, local language is added to the discriminator to indicate accurate discrimination between the generated image and the real image. Finally, a high-quality image is generated through the mutual game of the generator and the discriminator. The experimental results on the benchmark dataset show that, compared with the latest model with a multi-stage framework, the image generated by the model is more realistic and achieves the highest IS value, which can be better applied to scenes that generate images through text descriptions.
Key words : text to image generation；generative adversarial networks；attention mechanism

0 引言

生成以給定文本描述為條件的高分辨率逼真的圖像，已成為計算機視覺(CV)和自然語言處理(NLP)中具有挑戰(zhàn)性的任務(wù)。該課題具有各種潛在的應(yīng)用，例如藝術(shù)創(chuàng)作、照片編輯和視頻游戲。

最近，由于生成對抗網(wǎng)絡(luò)(GANs)[1]在生成圖像中已經(jīng)取得了很好的效果，REEDS在2016年首次提出通過條件生成對抗網(wǎng)絡(luò)(cGANs)[2]從文字描述中生成合理的圖像[3]；ZHANG H在2017年通過堆疊多個生成器和判別器提出StackGAN++[4]模型，首次生成256×256分辨率圖像。當(dāng)前，幾乎所有文本生成圖像模型都是基于StackGAN，這些模型有多對生成器和判別器，通過將文本嵌入和隨機噪聲輸入第一個生成器生成初始圖像，在后續(xù)的生成器中對初始圖像進(jìn)行細(xì)化最終生成高分辨率圖像。例如，AttnGAN[5]在每個生成器中引入了跨模態(tài)注意力機制，以幫助生成器更詳細(xì)地合成圖像；MirrorGAN[6]從生成的圖像中重新生成文本描述，以實現(xiàn)文本-圖像語義一致性；DM-GAN[7]引入了動態(tài)記憶網(wǎng)絡(luò)[8]來解決堆疊結(jié)構(gòu)訓(xùn)練不穩(wěn)定的問題。




本文詳細(xì)內(nèi)容請下載：http://ihrv.cn/resource/share/2000003600




作者信息：

胡  濤1，李金龍2

(1.中國科學(xué)技術(shù)大學(xué) 大數(shù)據(jù)學(xué)院，安徽 合肥230026；

2.中國科學(xué)技術(shù)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，安徽 合肥230026)


此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。