声明
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。
国内刊号：43-1258/TP
国际刊号：1007-130X
发布日期:
作者：张迎晨, 高盛祥, 余正涛, 王振晗, 毛存礼,
单位：1.昆明理工大学信息工程与自动化学院，云南 昆明 650500；2.昆明理工大学云南省人工智能重点实验室，云南 昆明 650500
关键词：神经机器翻译,预训练语言模型,词嵌入,汉语-越南语 , ,,
基金：国家自然科学基金（61972186,U21B2027,61732005,61761026,61672271,61762056）；国家重点研发计划（2019QY1802,2019QY1801,2019QY1800）；云南高科技人才项目（201606）；云南省重大科技专项（202103AA080015,202002AD080001）;云南省基础研究计划（202001AS070014，2018FB104）；昆明理工大学省级人培项目（KKSY201703005）
神经机器翻译是目前主流的机器翻译方法，但在汉-越这类低资源的机器翻译任务中，由于双语平行语料规模小，神经机器翻译的效果并不理想。考虑到预训练语言模型中包含丰富的语言信息，将预训练语言模型表征融入神经机器翻译系统可能对低资源的机器翻译有积极作用，提出一种融合BERT预训练语言模型与词嵌入双重表征的低资源神经机器翻译方法。首先，使用预训练语言模型和词嵌入分别对源语言序列进行表示学习，通过注意力机制建立2种表征之间的联系后,使用拼接操作得到双重表征向量；然后，经过线性变换和自注意力机制，使词嵌入表征和预训练语言模型表征完全自适应融合在一起，得到对输入文本的充分表征，以此提高神经机器翻译模型性能。在汉越语言对上的翻译结果表明，相比基准系统，在包含127 000个平行句对的汉越训练数据中，该方法的BLEU值提升了1.99，在包含70 000个平行句对的汉越训练数据中，该方法的BLEU值提升了4.34，表明融合BERT预训练语言模型和词嵌入双重表征的方法能够有效提升汉越机器翻译的性能。
来源：2023年第3期
《计算机工程与科学》期刊编辑部
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。