计算机工程与科学

作者：杜鹏, 李超, 石剑平, 姜麟

单位：昆明理工大学理学院,云南 昆明 650500

关键词：深度神经网络,微分方程数值解法,阿当姆斯法,捷径连接,

基金：国家自然科学基金(11561034);云南省教育厅基金(KKJB201707008)

深度神经网络已经在各类计算机视觉任务中取得了很大的成功,可网络结构设计仍缺乏指导性的准则。大量的理论和经验证据表明,神经网络的深度是它们成功的关键,而深度神经网络的可训练性仍是待解决的问题。将微分方程数值解法——阿当姆斯(Adams)法用于深度神经网络的权重学习,提出一种基于阿当姆斯法的捷径连接(shortcut connection)方式,可提高网络后期的学习精度,压缩模型的规模,使模型变得更有效。尤其对网络层数较少的深度神经网络的可训练性优化效果更明显。以经典的ResNet为例,比较了使用基于Adams法的捷径连接方式的Adams-ResNet与源模型在Cifar10上的性能表现,所提方法在提高识别正确率的同时将源模型的参数量压缩至一半。

来源：2021年第11期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2021年第11期