计算机工程与科学

作者：张钊1,2,3，张新峰1,2,3，郑楠1,2,3，贵明俊1,2,3

单位：（1.北京工业大学电子信息与控制工程学院,北京 100124；2.数字社区教育部工程研究中心，北京 100124;3.城市轨道交通北京实验室，北京 100124）

关键词：Hadoop,MapReduce,LDA主题模型,Gibbs,中文分词,并行计算,

基金：北京市属高等学校高层次人才引进与培养计划项目（CIT&TCD201504018）

随着互联网的飞速发展，需要处理的数据量不断增加，在互联网数据挖掘领域中传统的单机文本聚类算法无法满足海量数据处理的要求，针对在单机情况下，传统LDA算法无法分析处理大规模语料集的问题，提出基于MapReduce计算框架，采用Gibbs抽样方法的并行化LDA主题模型的建立方法。利用分布式计算框架MapReduce研究了LDA主题模型的并行化实现，并且考察了该并行计算程序的计算性能。通过对Hadoop并行计算与单机计算进行实验对比，发现该方法在处理大规模语料时，能够较大地提升算法的运行速度，并且随着集群节点数的增加，在加速比方面也有较好的表现。基于Hadoop平台并行化地实现LDA算法具有可行性，解决了单机无法分析大规模语料集中潜藏主题信息的问题。

来源：2016年第2期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2016年第2期