计算机工程与科学

北大核心,INSPEC,JST,CSCD扩展版,WJCI

国内刊号:43-1258/TP

国际刊号:1007-130X

计算机工程与科学杂志2022年第8期:基于LSTM的集群用户作业执行时间预测模型

发布日期:

作者:朱正东, 吴寅超, 胡亚红, 蒋家强

单位:1.西安交通大学计算机学院,陕西 西安 710049;2.浙江工业大学计算机科学与技术学院,浙江 杭州 310023

关键词:LSTM,时间预测,作业调度,服务质量,

基金:国家重点研发计划(2018YFB0204004,2018YFB0204003)

为提升服务质量,数据中心需要确保在规定的截止时间前完成用户作业,因此必须根据实时的系统资源对作业进行有效的调度。提出了一种作业调度算法,根据预测的作业执行时间进行批作业调度,以最小化批作业的完成时间。作业执行时间预测模型基于长短期记忆LSTM网络,根据用户作业类型、作业量、作业需要的CPU核数和内存数量,以及作业需要的资源在系统总资源中的占比,对用户作业的执行时间进行预测。预测结果用于判断集群是否有能力按时完成用户作业,同时为合理安排各作业的执行顺序提供依据。通过实验确定了影响LSTM时间预测模型性能的各超参数取值,如迭代次数、学习率和网络层数等。实验表明,与SVR模型、ARIMA模型和BP模型相比,基于LSTM的作业执行时间预测模型的决定系数R2分别有2.97%,2.34%和5.66%的提升效果,且预测的平均误差仅为0.78%。

来源:2022年第8期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2022年第8期

联系我们

  • 地址:湖南省长沙市开福区德雅路109号
  • 电话:86-0731-87002567
  • E-mail:jsjgcykx@vip.163.com

咨询工作人员