计算机工程与科学

北大核心,INSPEC,JST,CSCD扩展版,WJCI

国内刊号:43-1258/TP

国际刊号:1007-130X

计算机工程与科学杂志2022年第7期:基于NR-Transformer的集群作业运行时间预测

发布日期:

作者:陈奉贤

单位:(兰州大学网络安全与信息化办公室,甘肃 兰州 730000)

关键词:高性能计算,并行作业调度,用户聚类,时序神经网络,注意力机制,

高性能集群的作业调度通常使用作业调度系统来实现,准确填写作业运行时间能在很大程度上提升作业调度效率。现有的研究通常使用机器学习的预测方式,在预测精度和实用性上还存在一定的提升空间。为了进一步提高集群作业运行时间预测的准确率,考虑先对集群作业日志进行聚类,将作业类别信息添加到作业特征中,再使用基于注意力机制的NR-Transformer网络对作业日志数据建模和预测。在数据处理上,根据与预测目标的相关性、特征的完整性和数据的有效性,从历史日志数据集中筛选出7维特征,并按作业运行时间的长度将其划分为多个作业集,再对各作业集分别进行训练和预测。实验结果表明,相比于传统机器学习和BP神经网络,时序神经网络结构有更好的预测性能,其中NR-Transformer在各作业集上都有较好的性能。

来源:2022年第7期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2022年第7期

声明

严正声明:本站非期刊官网,非中介代理。

本站仅提供学术规范服务:快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。

联系我们

  • 地址:湖南省长沙市开福区德雅路109号
  • 电话:86-0731-87002567
  • E-mail:jsjgcykx@vip.163.com

咨询工作人员