计算机工程与科学

作者：程稳, 李焱, 曾令仿, 王芳, 唐士程, 杨力平, 冯丹, 曾文君

单位：（1.华中科技大学武汉光电国家研究中心，信息存储系统教育部重点实验室暨数据存储系统与技术教育部工程研究中心，湖北 武汉 430074;2.深圳国家基因库，广东 深圳 518120;3.之江实验室，浙江 杭州 311121）

关键词：Lustre文件系统,日志分析,系统优化,服务质量,资源管理,

基金：国家自然科学基金（61832020）；创新研究群体项目（61821003）;浙江省“万人计划”（2021R2007）;之江实验室自设科研项目（2021DA0AM01）

在科学计算、大数据处理和人工智能等领域，对相关应用负载进行研究，分析负载I/O模式，揭示应用负载变迁规律等，对指导集群存储系统性能优化十分重要。当前应用种类繁多并且应用快速迭代更新，复杂的环境使得对应用负载的特性挖掘充满挑战。针对以上问题，在生产环境中收集了5个Lustre集群存储共计326天的应用日志信息，对应用负载的访问、负载特性进行了深入的探究与分析，并对已有观察进行了验证和补充。通过对应用日志信息横向、纵向和多维度对比分析与信息挖掘，总结了4个发现，并研究相关发现与以往工作的关联性，结合实际生产环境，给出了相应的系统优化策略与切实可行的实施方案，为用户、维护人员、上层应用开发者和多层存储系统设计等人员提供了相关参考与建议。同时，针对实际应用环境复杂、系统优化工作耗时费力等问题，设计并实现了一种系统自动优化框架（SAOF），SAOF可为指定应用负载提供资源预留、带宽限定等功能，初步测试表明，SAOF能根据系统资源与任务负载需求为不同任务提供自动化的QoS保障。

来源：2022年第4期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2022年第4期