计算机工程与科学

作者：李俊哲, 付振新, 杨宏辉, 马银萍, 李若淼, 樊春,

单位：（1.北京大学计算机学院，北京 100871；2.北京大学计算中心，北京 100871；3.北京大学长沙计算与数字经济研究院，湖南 长沙 410205）

关键词：高性能计算系统软件,算力网络,并行传输,RSYNC,集群安全,

基金：2023年湖南省十大技术攻关项目（2023GK1010）

在算力网络的建设中，如何在不同地域算力中心的集群之间进行高效可靠的数据迁移，是影响算力网络建设成功与否的关键研究课题。鉴于此，设计并实现了基于RSYNC的高性能传输软件SCOW-SYNC。首先，SCOW-SYNC采用队列和线程池架构，对传统的RSYNC进行了优化，通过并行建立多个TCP连接和并行传输，提高了带宽利用率。此外，SCOW-SYNC还支持大文件自动切分、动态压缩、后台运行、进度实时查询和SSH连接池管理等功能。经测试，SCOW-SYNC相比RSYNC能够达到125%~130%的加速比。其次，为了提高传输的安全性，面向算力中心提出了一套可靠的跨集群传输系统架构，数据传输仅在“传输节点”之间发起，使用“传输密钥”进行加密，该密钥由“管理节点”负责动态检查、生成和分发。最后，将SCOW-SYNC集成到高性能计算门户和管理平台SCOW中，实现了SCOW的跨集群传输模块，使得用户可以通过浏览器在不同集群之间进行高性能的数据迁移，并通过容器化技术部署到了北京大学跨集群环境中，提高了生产效率。

来源：2025年第5期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2025年第5期