计算机工程与科学

作者：徐浩桐, 黄山, 孙国璋, 贺菲莉, 段晓东,

单位：（1.大连民族大学计算机科学与工程学院,辽宁 大连 116600;2.大数据应用技术国家民委重点实验室（大连民族大学）,辽宁 大连 116600;3.大连市民族文化数字技术重点实验室（大连民族大学）,辽宁 大连 116600）

关键词：Flink,容器,通信开销,负载均衡,迁移,

基金：国家重点研发计划（2018YFB1004402）

作为新一代的大数据计算引擎，Flink得到了广泛应用。Flink在云环境下进行容器化部署时，其默认任务调度算法不能感知节点的资源信息，导致即时调整负载和自主均衡能力较差，而主流的容器编排工具虽然提供了管理容器的可能性，却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题。针对以上问题开展研究，提出了一种面向云环境的Flink负载均衡策略FLBS，综合考虑了Flink集群中算子的分布特点和容器间通信机制，以节点间通信开销和均衡负载作为评估标准。实验结果表明，与Flink默认调度策略相比，FLBS能够有效提高计算效率，提升系统性能。

来源：2022年第5期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2022年第5期