计算机工程与科学

作者：李文佳, 史岚, 季航旭, 罗意彭

单位：（1.东北大学计算机科学与工程学院，辽宁 沈阳 110169；2.辽宁工业大学软件学院，辽宁 锦州 121000）

关键词：Apache Flink；基于资源反馈的负载均衡任务调度算法；实时资源监控；区域划分；人工萤火虫优化算法 ,,

基金：科技部重点研发项目（2018YFB1004402）

Apache Flink是现在主流的大数据分布式计算引擎之一，其中任务调度问题是分布式计算系统中的关键问题。由于集群的异构性以及不同算子复杂度不同，大数据计算系统Flink中不可避免地会出现负载不均的情况，针对这种问题，提出了基于资源反馈的负载均衡任务调度算法RFTS。通过实时资源监控、区域划分和基于人工萤火虫优化的任务调度算法3个模块，把负载过重的机器中处于等待状态的任务分配给负载较轻的机器，来实现集群的负载均衡，提高系统集群利用率和执行效率。最后通过基于TPC-C和TPC-H数据集的实验结果表明，RFTS算法从执行时间和吞吐量2个方面有效提升了Apache Flink计算系统的性能。

来源：2022年第7期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2022年第7期