计算机工程与科学

作者：范韫

单位：（国防大学政治学院,上海 200433）

关键词：稀疏自编码器,正则化,EMD距离,KL散度,

KL散度在机器学习领域被广泛地用于模型损失函数之中来度量分布的距离。在稀疏自编码器中，KL散度被用作损失函数的惩罚项来度量神经元输出与稀疏参数的距离，使得神经元输出趋近稀疏参数，从而抑制神经元的激活以得到稀疏编码。在WGAN中，Wasserstein距离被用于解决GAN的梯度消失和模式塌陷问题，使得GAN的训练更加稳定。得益于Wasserstein距离在GAN中的成功应用，提出了基于EMD距离的稀疏自编码器SAE-EMD。实验结果表明，相比于使用KL散度与JS散度，使用EMD距离作为惩罚项的稀疏自编码器可以使得真实样本与重构样本之间的重构误差减小，并且随着惩罚参数的增大，编码更加稀疏。

来源：2022年第5期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2022年第5期