计算机工程与科学

作者：朱嘉骏, 包美凯, 张凯, 刘烨, 刘淇

单位：中国科学技术大学认知智能全国重点实验室,安徽 合肥 230027

关键词：常识问答,知识注入,预训练语言模型,图神经网络,注意力机制,

常识问答任务致力于让模型回答人类常识问题。针对该任务的一类方法是检索相关的知识来辅助模型回答常识问题。该类方法主要分为知识查询和知识推理2个步骤。知识查询是指根据问题检索到与之相关联的知识,而知识推理是指利用检索到的知识辅助回答常识问题。对此,常识问答面临的一个挑战是如何找到合适的外部知识来帮助回答问题。现有的许多常识问答模型通常依赖于单个外部知识源,但鉴于常识知识的广泛性和多样性,单一来源很难全面覆盖所需的所有知识。针对这一问题,提出了一种基于多源知识注入的常识问答方法。首先,在知识查询过程中为了应对知识覆盖度问题,利用预训练语言模型整合来自多个来源的知识（包括结构化和非结构化的知识）,形成统一的知识表征；其次,在知识推理过程中为了充分利用结构化知识蕴含的语义关系,模型识别文本中的实体概念和实体之间的关系路径从而构建实体关系图,然后，利用图注意力网络对实体关系图建模；最后，利用实体关系图和实体知识表征中的证据信息对问题进行推理和解答。所提方法经预训练得到的模型在CommonsenseQA数据集上的测试结果显示,基于多源知识注入的常识问答方法在验证集和测试集上的准确率分别达到79.20%和75.02%,超过了最好的基线模型。实验结果表明了多源知识注入方法在常识问答任务中的有效性。

来源：2025年第2期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2025年第2期