计算机工程与科学

作者：黄泽彪, 董德尊, 齐星云

单位：（国防科技大学计算机学院，湖南 长沙 410073）

关键词：分布式深度学习,聚合通信,在网计算,Gloo,SHARP,

基金：国家重点研发计划（2022YFB4501702）

在分布式深度学习训练中，聚合通信是主要的通信方式。在聚合通信优化的研究中，有软件层面的优化和硬件层面的优化。SHARP是Mellanox提出来的一种聚合通信网络卸载协议，是针对聚合通信在硬件上的优化，其将聚合操作卸载到网络中的交换机，进而缩短了聚合通信时间。在Gloo的基础上集成了SHARP技术，设计并实现了一个能够利用在网计算技术来加速分布式深度学习训练的聚合通信库——Gloo+。评估并比较了Gloo+、Gloo以及MPI中聚合操作的性能，并将Gloo+应用于分布式深度学习训练中，以此来检验其实战能力。对Gloo+的实验评估结果显示，在基准测试时，在消息大小较小的情况下，Gloo+相对于Gloo的加速比最高能达到100以上；相比于以太网模式下的MPI，其加速比最高也能达到50以上；相比于IB网模式下的MPI，其加速比在10以内。在分布式深度学习训练的实际应用中，Gloo+相比于Gloo加速比最高能达到1.1，相比于以太网模式下的MPI加速比最高有1.3，相比于IB网模式下的MPI加速比最高有0.5。

来源：2024年第1期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2024年第1期