计算机工程与科学

作者：王伟喆, 郭威彤, 杨鸿武,

单位：1.西北师范大学物理与电子工程学院，甘肃 兰州 730070；2.西北师范大学教育技术学院，甘肃 兰州 730070；3.互联网教育数据学习分析技术国家地方联合工程实验室，甘肃 兰州 730070

关键词：手势识别,人脸表情识别,情感语音合成,神经网络,手语到语音转换,语言障碍者,

基金：国家自然科学基金（62067008，31860285）；甘肃省自然科学基金（21JR7RA117）;甘肃省教育科学“十三五”规划2020年度重点课题GS［2020］GHBZ190

为了解决语言障碍者与健康人之间的交流障碍问题，提出了一种基于神经网络的手语到情感语音转换方法。首先，建立了手势语料库、人脸表情语料库和情感语音语料库；然后利用深度卷积神经网络实现手势识别和人脸表情识别，并以普通话声韵母为合成单元，训练基于说话人自适应的深度神经网络情感语音声学模型和基于说话人自适应的混合长短时记忆网络情感语音声学模型；最后将手势语义的上下文相关标注和人脸表情对应的情感标签输入情感语音合成模型，合成出对应的情感语音。实验结果表明，该方法手势识别率和人脸表情识别率分别达到了95.86%和92.42%，合成的情感语音EMOS得分为4.15，合成的情感语音具有较高的情感表达程度，可用于语言障碍者与健康人之间正常交流。

来源：2022年第10期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2022年第10期