计算机工程与科学

作者：卞琛, 修位蓉, 于炯

单位：（1广东金融学院互联网金融与信息工程学院，广东 广州 510521;2.广州商学院信息技术与工程学院，广东 广州 511363;3新疆大学信息科学与工程学院，新疆 乌鲁木齐 830046）

关键词：Spark,parallel scheduling,data partitioning,heterogeneous cluster,data skew,

基金：国家自然科学基金（61862060，61902081）；广州市哲学社会科学规划项目（2021GZGJ145）

异构Spark集群存在木桶效应，不合理的并行度导致任务分配与工作节点计算能力的适配性较差，进而影响集群计算效率和资源利用率。针对这一问题，首先建立模型，分析数据分布、并行度参数和节点任务分配的耦合关系，提出算法的优化目标，设计异构Spark集群的数据倾斜修正调度策略DSCS，包括并行度预估算法、数据倾斜修正算法和异构节点任务分配算法。预估算法对并行度进行先期设定，数据倾斜修正算法根据首个计算阶段的统计信息进行数据重新划分和并行度修正，由异构节点任务分配算法对集群不同计算能力的工作节点进行合理的任务分配，从而提高数据计算量与节点计算能力的适配性，优化Spark集群的整体性能。实验结果表明：在不同作业类型、不同数据集条件下，算法均取得了一定的性能提升，并能有效减少工作节点外存溢写的概率。

来源：2022年第4期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2022年第4期