计算机工程与科学

作者：梅运红, 刘茂福,

单位：1.武汉科技大学计算机科学与技术学院，湖北 武汉 430065；2.湖北省智能信息处理与实时工业系统重点实验室，湖北 武汉 430065

关键词：图像描述,图文关联注意力,上下文引导注意力,图集,新闻文本,

传统的图像描述生成方法由于缺少现实世界的先验知识，生成的描述文本不具有解释性，同时在某些专业领域生成的描述文本准确性不高。针对上述问题，提出了军事新闻图集描述生成任务，还构建了军事新闻图集数据集。该任务存在2个关键挑战：描述信息来源于整个图集和对应的新闻文本中，模型学习到的语义不够充分。进一步提出了一种基于图文关联与上下文引导的军事新闻图集描述生成方法ITRCG。基于ITRCG实现跨模态信息交互，引导模型学习更完整的语义，并通过标签清理辅助命名实体生成。在构建的军事新闻图集数据集上进行了验证实验，结果表明ITRCG能够有效提高描述文本的质量，在各项评价指标上均取得了提升。

来源：2024年第9期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2024年第9期