计算机工程与科学

作者：黄瑶, 潘丽丽, 熊思宇, 蒋湘辉, 马俊勇

单位：中南林业科技大学计算机与信息工程学院，湖南 长沙 410004

关键词：文本隐写,暴露偏差,生成对抗网络,多头注意力,

基金：湖南省自然科学基金（2021JJ31164）；湖南省教育厅重点项目（22A0195）

随着深度学习的发展，基于文本生成的隐写术取得了重大突破。现有基于文本生成的方法存在暴露偏差的问题，即训练阶段每个输入都来自真实样本标签，预测阶段的输入来自上一时刻预测的输出。训练和预测之间的输入样本差异会产生误差积累，使得生成样本与真实样本分布相差过大。针对这个问题，提出了一种基于生成对抗网络和多头注意力的文本隐写术—TS-GANMA。首先，利用生成对抗网络训练文本生成器，通过多头注意力机制提取多头注意力得分参与奖惩模块的奖励计算，得到更适合生成器的反馈信息。随后，生成器与鉴别器进行对抗训练，能够解决暴露偏差的问题，优化文本生成模型。最后，对文本生成模型输出的条件概率分布进行编码，实现秘密信息嵌入。实验结果表明，在相同的嵌入率时，TS-GANMA隐写术与LSTM-vlc和ADG相比，隐写文本的困惑度有显著的降低，这是因为采用TS-GANMA进行文本隐写，生成的隐写文本与真实文本的统计分布更加拟合，生成的隐写文本质量更高。

来源：2023年第10期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2023年第10期