计算机工程与科学

作者：薛梅婷, 俞万刚, 张纪林, 曾艳, 袁俊峰, 周丽

单位：1.杭州电子科技大学网络空间安全学院，浙江 杭州 310018；2.杭州电子科技大学计算机学院，浙江 杭州 310018

关键词：分布式元数据管理,负载均衡算法,一致性哈希,压缩布隆过滤器,

基金：浙江省重点研发计划(2023C03194,2024C01211);浙江省自然科学基金(LQ23F020015,LTGG24F020007)

分布式元数据管理系统利用多个元数据服务器对大量元数据进行存储和管理。该系统将海量元数据通过不同的映射策略分配到不同的元数据服务器上，减少单台元数据服务器所处理的数据量，从而减少磁盘访问次数，进而提高整个元数据管理系统的性能。元数据管理系统通常会使用哈希函数将元数据键映射到不同的元数据服务器中。然而，当数据特征值相似时，由于散列函数的单向性，会导致数据分布不均衡的问题，造成元数据服务器性能下降。为解决上述问题，提出了一种动态空间划分和压缩布隆过滤器相结合的元数据负载均衡算法，该算法首先构建一个哈希桶来组织元数据键，通过哈希算法将元数据键映射到不同的哈希桶中；在映射过程中，根据元数据服务器的负载情况动态调整目标哈希桶，并在上述哈希桶中有序地保存元数据键的映射信息。当访问元数据时，首先通过压缩布隆过滤器对元数据键进行预处理，然后通过二分查找在指定的哈希桶中进行元数据映射信息的查找。与近年来提出的元数据管理算法相比，所提算法在映射键发生倾斜时仍能保证元数据服务器负载均衡，并通过对比实验表明，所提算法相比最优的元数据管理算法，在内存占用仅提升2%的条件下，获得了20%的搜索性能提升。

来源：2024年第8期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2024年第8期