计算机工程与科学

作者：蔡雨岐, 郭卫斌

单位：（华东理工大学信息科学与工程学院,上海 200237）

关键词：序列标注,多级语义信息融合编码,标签语义信息,注意力机制,融合机制,

基金：国家自然科学基金(61672227)

序列标注是自然语言处理领域的基本任务。目前大多数序列标注方法采用循环神经网络及其变体直接提取序列中的上下文语义信息，尽管有效地捕捉到了词之间的连续依赖关系并取得了不错的性能，但捕获序列中离散依赖关系的能力不足，同时也忽略了词与标签之间的联系。因此，提出了一种多级语义信息融合编码方式，首先，通过双向长短期记忆网络提取序列上下文语义信息;然后,利用注意力机制将标签语义信息添加到上下文语义信息中，得到融合标签语义信息的上下文语义信息;接着,引入自注意力机制捕捉序列中的离散依赖关系，得到含有离散依赖关系的上下文语义信息;最后,使用融合机制将3种语义信息融合，得到一种全新的语义信息。实验结果表明，相比于采用循环神经网络或其变体对序列直接编码的方式,多级语义信息融合编码方式能明显提升模型性能。

来源：2022年第12期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2022年第12期