计算机工程与科学

作者：胡宗承, 段晓威, 周亚同, 何昊

单位：（1.河北工业大学电子信息工程学院，天津 300401；2.中国电子科技集团公司第二十九研究所，四川 成都 610036）

关键词：多模态,动态手势识别,门控循环神经单元,卷积神经网络,

基金：多模态；动态手势识别；门控循环神经单元；卷积神经网络

针对复杂环境中动态手势识别精度低且鲁棒性不强的问题，提出一种基于多模态融合的动态手势识别算法TF-MG。TF-MG结合深度信息和三维手部骨架信息，利用2种不同网络分别提取对应特征信息，然后将提取的特征融合输入分类网络，实现动态手势识别。针对深度信息运用运动历史图像方法，将运动轨迹压缩到单帧图像，使用MobileNetV2提取特征。针对三维手部骨架信息采用门控循环神经单元组成的DeepGRU对手部骨架信息进行特征提取。实验结果表明，在DHG-14/28数据集上，对14类手势识别精度达到93.29%，对28类手势识别精度达到92.25%。相对其他对比算法实现了更高的识别精度。

来源：2023年第4期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2023年第4期