计算机工程与科学

北大核心,INSPEC,JST,CSCD扩展版,WJCI

国内刊号:43-1258/TP

国际刊号:1007-130X

计算机工程与科学杂志2024年第7期:基于BERT字句向量与差异注意力的短文本语义匹配策略

发布日期:

作者:王钦晨, 段利国, 王君山, 张昊妍, 郜浩

单位:1.太原理工大学计算机科学与数据学院(大数据学院),山西 太原 030600;2.山西电子科技学院信创产业学院,山西 临汾 041000;3.北京市公安局网络安全保卫总队,北京 100740

关键词:短文本语义匹配,字句向量,表征意图,差异注意,

基金:山西省自然科学基金(202203021221234)

短文本语义匹配是自然语言处理领域中的一个核心问题,可广泛应用于自动问答、搜索引擎等领域。过去的工作大多只考虑文本之间的相似部分,忽略了文本之间的差异部分,从而使模型无法充分利用到决定文本之间是否匹配的关键信息。针对上述问题,提出一种基于BERT字句向量与差异注意力的短文本语义匹配策略,利用BERT对句子对进行向量化表示,使用BiLSTM并引入多头差异注意力机制获取当前字向量与文本全局语义信息之间表征意图差异的注意力权重,结合一维卷积神经网络对句子对的语义特征向量进行降维,最后拼接字句向量并送入全连接层计算出2个句子之间的语义匹配度。通过在LCQMC和BQ Corpus数据集上的实验表明,该策略可以有效提取文本语义差异信息,从而使模型表现出更好的效果。

来源:2024年第7期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2024年第7期

声明

严正声明:本站非期刊官网,非中介代理。

本站仅提供学术规范服务:快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。

联系我们

  • 地址:湖南省长沙市开福区德雅路109号
  • 电话:86-0731-87002567
  • E-mail:jsjgcykx@vip.163.com

咨询工作人员