计算机工程与科学

作者：姜晶菲, 何源宏, 许金伟, 许诗瑶, 钱希福

单位：国防科技大学计算机学院并行与分布计算全国重点实验室，湖南 长沙 410073

关键词：深度神经网络,图形处理器,向量处理器,稀疏矩阵乘,流水线,

深度神经网络在自然语言处理、计算机视觉等领域取得了优异的成果，由于智能应用处理数据规模的增长和大模型的快速发展，对深度神经网络的推理性能要求越来越高，N∶M半结构化稀疏化技术成为平衡算力需求和应用效果的热点技术之一。国产异构向量处理器FT-M7032为智能模型处理中的数据并行和指令并行开发提供了较大空间。针对N∶M半结构化稀疏模型计算稀疏模式多样性，提出了一种面向FT-M7032的可灵活配置的稀疏矩阵乘算法NM-SpMM。NM-SpMM设计了一种高效的压缩偏移地址稀疏编码格式COA，避免了半结构化参数配置对稀疏数据访存计算的影响。基于COA编码，NM-SpMM对不同维度稀疏矩阵计算进行了细粒度优化。在FT-M7032单核上的实验结果表明，相较于稠密矩阵乘，NM-SpMM能获得1.73~21.00倍的加速，相较于采用CuSPARSE稀疏计算库的NVIDIA V100 GPU，能获得0.04~1.04倍的加速。

来源：2024年第7期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2024年第7期