计算机工程与科学

作者：王露瑶, 胡慧君, 刘茂福

单位：1.武汉科技大学计算机科学与技术学院，湖北 武汉 430065；2.湖北省智能信息处理与实时工业系统重点实验室，湖北 武汉 430065

关键词：多模态情感分析,图文情绪分类,视觉特征增强,双向交互融合,

基金：“十四五”湖北省优势特色学科（群）项目 (2023D0302)

多模态情感分析日益受到广泛关注，其目的是利用文本和图像等多模态信息实现情感预测。相较于文本，视觉模态作为辅助模态，可能包含更多与情感无关的混淆或者冗余信息，同时现有研究未充分考虑多个感知模态间的交互作用和互补性。针对上述问题，提出了基于视觉特征增强与双向交互融合的图文情绪分类VFEBIF模型。其中，细粒度视觉特征增强模块利用场景图的结构化知识和基于CLIP的筛选技术，提取出与视觉语义相关的文本关键词，从而增强视觉局部特征。此外，双向交互融合模块并行实现模态间交互，并融合多模态特征以深入挖掘模态间的互补信息，进而实现情绪分类。在TumEmo和MVSA-Single这2个公共数据集上的实验表明，VFEBIF模型优于多数现有模型，能够有效提升情绪分类性能。

来源：2025年第11期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2025年第11期