计算机工程与科学

作者：黄山, 房六一, 徐浩桐, 段晓东,

单位：（1.大连民族大学计算机科学与工程学院,辽宁 大连 116600;2.大数据应用技术国家民委重点实验室,辽宁 大连 116600;3.大连市民族文化数字技术重点实验室,辽宁 大连 116600）

关键词：容器,大数据,Flink,任务调度,负载均衡,容器环境,

基金：国家重点研发计划（2018YFB1004402）

随着互联网技术的飞速发展，人类正在走向大数据时代与云计算时代。Flink作为最新一代的大数据计算引擎，具有低延迟、高吞吐等优势，受到学术界与工业界的青睐。Flink在云环境下部署时，其默认任务调度由于无法获取容器部署分布信息，会导致负载分配不均衡。针对这一问题，提出一种面向容器环境的Flink任务调度算法FSACE，获取每个结点性能信息与容器在结点上的分布信息，优先选择空闲资源较多的结点的容器，同时可以避免容器被频繁选中造成负载不均。使用云主机与合成数据集对算法进行评测，评测结果表明，在容器环境下部署时，所提出的算法能更均衡地分配任务，可以提高资源使用率和计算速度。

来源：2021年第7期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2021年第7期