计算机工程与科学

作者：苏丽，孙彦猛，张博为，杨先博，朱颖

单位：（北京遥测技术研究所，北京 100076）

关键词：Hadoop,CUDA,21CMA,相关器,

根据21CMA相关器的算法特点，在对比基于CPU并行的MPI集群、MPI+CUDA异构并行集群和Hadoop+CUDA异构并行集群的架构特点的基础上，提出了一种基于Hadoop+CUDA平台实现软相关器的方法。本方法利用GPU在计算FFT、向量乘和向量加等密集型计算模型的优势，设计相关器的并行模型，使其性能较前期在CPU并行的MPI集群实现的相关器有了大幅提升。同时，本文选择广泛应用于大数据处理平台的Hadoop软件架构，利用Hadoop Streaming工具实现非Java编写的程序在分布式系统中并行执行，非常便捷地获得了集群系统的线性加速比。Hadoop HDFS并行文件系统管理结果数据和过程日志更加灵活可靠，为后续的大数据分析提供了支撑环境。

来源：2016年第1期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2016年第1期