计算机工程与科学

作者：刘婕, 张磊, 朱少杰, 刘佰龙, 张雪飞

单位：（1.中国矿业大学矿山数字化教育部工程研究中心，江苏 徐州 221116；2.中国矿业大学计算机学院，江苏 徐州 221116；3.内蒙古广纳信息科技有限公司，内蒙古 乌海 016000）

关键词：多模态,语义轨迹,自注意力机制,模式规范化,

基金：中国矿业大学建设双一级专项资金（2018ZZCX14）

随着社交媒体的快速发展，多模态语义轨迹的预测成为新的挑战。轨迹点间的依赖关系在预测中起到重要作用，同时也存在着以下挑战：轨迹信息中包含多种模态信息(时间、兴趣点和活动文本等)，存在时间、空间和活动意图等多种依赖，这些依赖关系很复杂，现有方法很难量化这些复杂依赖关系。为了解决以上问题，提出一种基于自注意力机制的多模态语义轨迹预测模型SAMSTP。SAMSTP先对多模态特征进行联合嵌入，再设计自注意力机制结合Position Encoding计算轨迹点之间的特征相似度，自动学习并量化复杂依赖权重，同时解决轨迹的长期依赖关系。最后，采用LSTM网络处理轨迹时序关系，并设计模式规范化机制解决依赖关系失真问题，加快模型收敛速度。在真实数据集上的实验结果表明，SAMSTP是有效的，并且优于现有最新方法。

来源：2021年第11期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2021年第11期