计算机工程与科学

作者：梁毅, 吐尔地·托合提, 艾斯卡尔·艾木都拉,

单位：1.新疆大学信息科学与工程学院，新疆 乌鲁木齐 830017；2.新疆信号检测与处理重点实验室，新疆 乌鲁木齐 830017

关键词：虚假信息检测,多模态,后期融合,多层CNN；多分类器,

基金：国家自然科学基金(62166042,U2003207);新疆维吾尔自治区自然科学基金(2021D01C076);国防科技基金加强计划(2021-JCJQ-JJ-0059)

针对现有的多模态虚假信息检测方法很少对多模态特征在特征层面进行融合，同时忽略了多模态特征后期融合作用的问题，提出了一种基于CNN多模态特征融合及多分类器混合预测的虚假信息检测模型。首次将多层CNN应用于多模态特征融合，模型首先用BERT和Swin-transformer提取文本和图像特征；随后通过多层CNN对多模态特征在特征层面进行融合，通过简单拼接对多模态特征在句子层面进行融合；最后将2种融合特征输入到不同的分类器中得到2个概率分布，并将2个概率分布按比例进行相加得到最终预测结果。该模型与基于注意力的多模态分解双线性模型（AMFB）相比，在Weibo数据集和Twitter数据集上的准确率分别提升了6.1%和4.3%。实验结果表明，所提模型能够有效提高虚假信息检测的准确率。

来源：2023年第6期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2023年第6期