计算机工程与科学

北大核心,INSPEC,JST,CSCD扩展版,WJCI

国内刊号:43-1258/TP

国际刊号:1007-130X

计算机工程与科学杂志2022年第10期:基于回译和比例抽取孪生网络筛选的汉越平行语料扩充方法

发布日期:

作者:王可超, 郭军军, 张亚飞, 高盛祥, 余正涛,

单位:(1.昆明理工大学信息工程与自动化学院,云南 昆明 650500;2.昆明理工大学云南省人工智能重点实验室,云南 昆明 650500)

关键词:汉越平行语料扩充,回译,数据增强,比例抽取,孪生网络,

基金:国家自然科学基金(61732005,61761026,61866020,61672271,61762056,61972186);国家重点研发计划(2019QY1801,2019QY1802,2019QY1800)

回译作为翻译中重要的数据增强方法,受到了越来越多研究者的关注。其基本思想为首先基于平行语料训练基础翻译模型,然后利用模型将单语语料翻译为目标语言,组合为新语料用于模型训练。然而在汉?越低资源场景下,训练得到的基础翻译模型性能较差,导致在其上应用回译方法得到的平行语料中含有较多噪声,较难用于下游任务。针对此问题,构建基于比例抽取的孪生网络筛选模型,通过训练使得模型可以识别平行句对和伪平行句对,在同一语义空间上对回译得到的伪平行语料进行筛选去噪,进而得到更优的平行语料。在汉越数据集上的实验结果表明,所提方法训练的模型的性能相较基线模型有显著提升。

来源:2022年第10期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2022年第10期

联系我们

  • 地址:湖南省长沙市开福区德雅路109号
  • 电话:86-0731-87002567
  • E-mail:jsjgcykx@vip.163.com

咨询工作人员