[1]李远方 贾时银 邓世昆 韩月阳.基于树结构的MapReduce模型[J].计算机技术与发展,2011,(08):149-152.
　LI Yuan-fang,JIA Shi-yin,DENG Shi-kun,et al.MapReduce Model Based on Tree Structure[J].,2011,(08):149-152.
点击复制

基于树结构的MapReduce模型()
分享到：

《计算机技术与发展》[ISSN:1006-6977/CN:61-1281/TN]

卷:
期数:
2011年08期
页码:
149-152
栏目:
智能、算法、系统工程
出版日期:
1900-01-01

文章信息/Info

Title:
MapReduce Model Based on Tree Structure
文章编号:
1673-629X（2011）08-0149-04
作者:
李远方 贾时银 邓世昆 韩月阳
云南大学信息学院
Author(s):
LI Yuan-fang; JIA Shi-yin; DENG Shi-kun; HAN Yue-yang
College of Information,Yunnan University
关键词:
树结构; MapReduce; XML; Hadoop
Keywords:
tree structure;  MapReduce;  XML;  Hadoop
分类号:
TP31
文献标志码:
A
摘要:
MapReduce是Google开发的一种并行分布式计算模型,已在搜索和处理海量数据领域得到了广泛的应用。此模型只适用于数据关联性弱、能够高度并行化的程序,未能处理数据关联性强的数据（比如树形结构）。文中详细讨论了MapReduce的实现机制,提出了一种基于树结构的MapReduce模型,它是基于一种聚类聚合的反复轮询过程,聚合时用代替传统的,使模型更具有一般性。最后搭建Hadoop平台来处理XML结构的海量数据,并比对新旧两种模型的效率。实验结果表明,其执行速度明显比传统模型高效
Abstract:
MapReduce is a parallel distributed computing model developed by Google,it is widely used in the area of searching and large date dealing.This model can be used to process data with weak correlation degree,but unable to deal with the data efficicently by making full use of the relationship among the data（such as a tree）.It proposes a MapReduce model based on the tree structure,it is based on a process which is featured in repeated polling with clustering aggregation,usek1,k2,…,kn,value rather than k,value as usual when aggregation,make the model more general.Experimental results show the execution speed is significantly higher than the traditional model

相似文献/References:

[1]周登 戴玉刚 付涛.基于树结构的Web信息抽取[J].计算机技术与发展,2009,(09):38.
　ZHOU Deng,DAI Yu-gang,FU Tao.Extracting Web Data Using Tree Structure[J].,2009,(08):38.
[2]李玲娟 张敏.云计算环境下关联规则挖掘算法的研究[J].计算机技术与发展,2011,(02):43.
　LI Ling-juan,ZHANG Min.Research on Algorithms of Mining Association Rule under Cloud Computing Environment[J].,2011,(08):43.
[3]李远方 邓世昆 闻玉彪 韩月阳.Hadoop-MapReduce下的PageRank矩阵分块算法[J].计算机技术与发展,2011,(08):6.
　LI Yuan-fang,DENG Shi-kun,WEN Yu-biao,et al.PageRank Matrix Partitioned Algorithm Using Hadoop-MapReduce[J].,2011,(08):6.
[4]王梅,朱信忠,赵建民,等.基于 Hadoop 的海量图像检索系统[J].计算机技术与发展,2013,(01):204.
　WANG Mei,ZHU Xin-zhong,ZHAO Jian-min,et al.Massive Images Retrieval System Based on Hadoop[J].,2013,(08):204.
[5]贺瑶,王文庆,薛飞.基于云计算的海量数据挖掘研究[J].计算机技术与发展,2013,(02):69.
[6]舒琰,向阳,张骐,等.基于PageRank的微博排名MapReduce算法研究[J].计算机技术与发展,2013,(02):73.
　SHU Yan,XIANG Yang,ZHANG Qi,et al.Research on MapReduce Algorithm of Micro Blog Ranking Based on PageRank[J].,2013,(08):73.
[7]朱贤军,李敬兆.无加密模式下对云数据的隐私保密[J].计算机技术与发展,2013,(06):216.
　ZHU Xian-jun,LI Jing-zhao.Cloud Data Privacy under None Encryption[J].,2013,(08):216.
[8]周婷,张君瑛,罗成.基于Hadoop的K-means聚类算法的实现[J].计算机技术与发展,2013,(07):18.
　ZHOU Ting[],ZHANG Jun-ying[],LUO Cheng[].Realization of K-means Clustering Algorithm Based on Hadoop[J].,2013,(08):18.
[9]孙媛,黄刚. 基于Hadoop平台的C4.5算法的分析与研究[J].计算机技术与发展,2014,24(11):83.
　SUN Yuan,HUANG Gang. Analysis and Study of C4 . 5 Algorithm Based on Hadoop Platform[J].,2014,24(08):83.
[10]王添,姜麟,米允龙. 海量数据下不完备信息系统的知识约简算法[J].计算机技术与发展,2015,25(01):137.
　WANG Tian,JIANG Lin,MI Yun-long. Knowledge Reduction Algorithms of Incomplete Information System in Massive Datasets[J].,2015,25(08):137.

备注/Memo

备注/Memo:
云南省自然科学基金（2007F174M）; 云南大学研究生科研课题资助项目（ynny200928）李远方（1986-），男，四川人，硕士生，主要从事云计算网络、分布式计算的研究；邓世昆，教授，主要从事计算机网络、智能建筑方面的研究
更新日期/Last Update: 1900-01-01