计算机工程与科学

作者：白志远, 杨智翔, 栾鸿康, 孙玉宝,

单位：1.南京信息工程大学计算机学院，江苏 南京 210044；2.南京信息工程大学计算机学院江苏省大数据分析技术实验室，江苏 南京 210044

关键词：文本生成图像,生成对抗网络,多模态任务,

基金：国家自然科学基金(U2001211，62276139)

文本生成图像旨在根据自然语言描述生成逼真的图像，是一个涉及文本与图像的跨模态分析任务。鉴于生成对抗网络具有生成图像逼真、效率高等优势，已经成为文本生成图像任务的主流模型。然而，当前方法往往将文本特征分为单词级和句子级单独训练，文本信息利用不充分，容易导致生成的图像与文本不匹配的问题。针对该问题，提出了一种耦合单词级与句子级文本特征的图像对抗级联生成模型(Union-GAN)，在每个图像生成阶段引入了文本图像联合感知模块(Union-Block)，使用通道仿射变换和跨模态注意力相结合的方式，充分利用了文本的单词级语义与整体语义信息，促使生成的图像既符合文本语义描述又能够保持清晰结构。同时联合优化鉴别器，将空间注意力加入到对应的鉴别器中，使来自文本的监督信号促使生成器生成更加相关的图像。在CUB-200-2011数据集上将其与AttnGAN等多个当前的代表性模型进行了对比，实验结果表明，Union-GAN的FID分数达到了13.67，与AttnGAN相比，提高了42.9%，IS分数达到了4.52，提高了0.16。

来源：2023年第12期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2023年第12期