计算机工程与科学

作者：王艺焱, 王海荣, 王怡梦, 王文龙

单位：1.北方民族大学计算机科学与工程学院，宁夏 银川 750021;2.珠海科技学院计算机学院，广东 珠海 519041

关键词：多模态知识图谱,多模态实体对齐,嵌入模型,自适应融合,匹配问题,

基金：宁夏自然科学基金(2023AAC03316);宁夏回族自治区教育厅高等学校科学研究重点项目(NYG2022051)

针对多模态实体对齐存在的特征融合时信息易丢失问题，以及对齐时仅关注联合实体向量导致实体无法被正确对齐的问题，提出了自适应融合的多模态实体对齐方法ADMMEA。该方法利用FastText、ResNet-152和GAT模型提取多模态实体特征，同时获取实体名称、图像和结构数据的特征表示；采用布雷-柯蒂斯(Bray-Curtis)相异矩阵与莱文斯坦(Levenshtein)距离，计算源实体与目标实体间的相似度，生成各模态的距离矩阵；通过自适应融合策略融合图文距离矩阵，将其与结构信息矩阵拼接，得到最终的融合矩阵；利用排序思想匹配对融合矩阵按照相似度分数进行降序排列实现多模态实体对齐。在DBP15K数据集的ZH-EN,JA-EN和FR-EN子数据集上进行方法实验，并将实验结果与JAPE，RDGCN，MOGNN和MIMEA等13种方法进行对比，结果表明ADMMEA在ZH-EN,JA-EN和FR-EN这3个数据集上的Hits@1指标分别达到了0.985,0.995和0.994，证明了ADMMEA方法的有效性。

来源：2026年第2期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2026年第2期