计算机工程与科学

作者：敬容1, 万福成1, 2, 黄锐1, 于洪志1, 2, 马宁1, 2

单位：（1.西北民族大学语言与文化计算教育部重点实验室，甘肃 兰州 730030;2.西北民族大学甘肃省民族语言文化智能信息处理重点实验室，甘肃 兰州 730030）

关键词：预训练模型,降噪微调,图注意力机制,藏文长文本分类,

基金：国家自然科学基金（62366046）；甘肃省科技计划（24JRRA154）；西北民族大学基本科研业务费项目(31920240102)

在藏文长文本分类任务中，长距离依赖问题尤为突出。同时，多语言预训练模型在处理藏文文本分类任务时也存在一定的偏差。针对以上问题，基于预训练语言模型CINO-Large，提出融合降噪微调与图注意力机制的藏文长文本分类方法。首先，在CINO-Large中引入不完全信任损失函数In-trust，通过任务适应性损失增强模型在下游任务中的泛化能力。其次，在图结构建模中引入滑动窗口和线性分类，选择性增加文档与文档边缘，提高节点间的特征区分度。最后，利用图注意力机制GAT捕捉不同节点在图中的重要性，完成藏文长文本分类任务。在TNCC中的新闻长文本上，由所提方法构建的模型的分类准确率达到了71.66%，与预训练语言模型CINO-Large相比，其准确率、精确度和F1分数分别提高了1.77%、2.67%和2.03%,在部分分类困难的子类别上，模型的F1分数能显著提升20%左右。

来源：2025年第06期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2025年第06期