[1]邓涵元,卢 山,程 光.基于 MPP-Hadoop 混合架构高校数据集成系统研究[J].计算机技术与发展,2018,28(08):160-163.[doi:10.3969/ j. issn.1673-629X.2018.08.034]
　DENG Han-yuan,LU Shan,CHENG Guang.Research on University Data Integration System Based on MPP-Hadoop Mixed Architecture[J].,2018,28(08):160-163.[doi:10.3969/ j. issn.1673-629X.2018.08.034]
点击复制

基于 MPP-Hadoop 混合架构高校数据集成系统研究()
分享到：

《计算机技术与发展》[ISSN:1006-6977/CN:61-1281/TN]

卷:
28
期数:
2018年08期
页码:
160-163
栏目:
应用开发研究
出版日期:
2018-08-10

文章信息/Info

Title:
Research on University Data Integration System Based on MPP-Hadoop Mixed Architecture
文章编号:
1673-629X(2018)08-0160-04
作者:
邓涵元 1; 2; 卢 山2; 程 光3
1. 武汉邮电科学研究院,湖北 武汉 430074; 2. 南京烽火软件科技有限公司,江苏 南京 210019; 3. 东南大学,江苏 南京 210019
Author(s):
DENG Han-yuan1; 2; LU Shan2; CHENG Guang3
1. Wuhan Research Institute of Posts and Telecommunications,Wuhan 430074,China; 2. Nanjing FiberHome Software Technology Co. ,Ltd. ,Nanjing 210019,China; 3. Southeast University,Nanjing 210019,China
关键词:
数据集成; 高校大数据; MPP; Hadoop; GreenPlum
Keywords:
data integration; university big data; MPP; Hadoop; GreenPlum
分类号:
TP302
DOI:
10.3969/ j. issn.1673-629X.2018.08.034
文献标志码:
A
摘要:
随着数字化校园的建设,传统的数据集成系统在海量数据环境下数据查询和加载的效率均有所下降,且难以对非结构化、半结构化数据进行融合和分析。 针对以上情况,依托高校大数据平台,从各个异构系统中抽取出数据,结合 Ha- doop 和 MPP 技术的优势,设计并实现了一个基于 MPP-Hadoop 混合框架的高校异构数据集成系统,融合多种不同结构数据,提升了数据查询和加载的效率。 以某高校为例,从学生的门禁刷卡系统和校园网系统中抽取出学生的行为轨迹数据, 载入 MPP 数据仓库,进行数据融合,并与传统数据仓库产品 Oracle 搭建的现有高校数据集成系统进行数据加载和数据查询效率方面的对比评测,验证了系统的有效性并且为学生的学习生活、心理等各方面的管理工作提供一定的技术支持和指导。
Abstract:
With the construction of digital campus,the efficiency of data query and loading of the traditional data integration system in the massive data environment are reduced,and it is difficult to integrate and analyze unstructured,semi-structured data in the massive data en- vironment. For this,relying on university large data platform,combining the advantages of Hadoop and MPP technology,we design and implement a system of heterogeneous data integration based on MPP-Hadoop hybrid framework,which integrates many different structure data and enhances the efficiency of data query and loading. And taking a university as an example,the students trajectory data is extracted from the student’s access card system and the campus network system and is loaded to MPP data warehouse. The system will be com- pared with the traditional university data integration system built by Oracle data warehouse,and its validity is verified. Technical support and guidance to students’ life,study,psychology and other aspects of management is provided.

相似文献/References:

[1]郑垒 曹宝香.基于SDO的异构数据集成研究与应用[J].计算机技术与发展,2009,(11):163.
　ZHENG Lei,CAO Bao-xiang.Research and Application of Heterogeneous Data Integration Based on SDO[J].,2009,(08):163.
[2]周运 牟占生 徐久成.基于XML虚拟数据库的异构数据源集成模型研究[J].计算机技术与发展,2008,(04):84.
　ZHOU Yun,MU Zhan-sheng,XU Jiu-cheng.Research on Data-Source Heterogeneity Model Based on XML Virtual Database[J].,2008,(08):84.
[3]毛赟 徐宏炳.基于共享库的数据集成方案改进[J].计算机技术与发展,2008,(07):170.
　MAO Yun,XU Hong-bing.Improving Solution of Data Integration Based on Shared Database[J].,2008,(08):170.
[4]戴文娟 王晓峰.基于XML和BizTalk数据集成平台的设计与构建[J].计算机技术与发展,2008,(10):162.
　DAI Wen-juan,WANG Xiao-feng.Design and Construction of Data Integration Platform Based on XML and BizTalk Technology[J].,2008,(08):162.
[5]温志萍 刘爱华 程初.基于SDO的虚拟视图多源数据集成研究[J].计算机技术与发展,2010,(07):89.
　WEN Zhi-ping,LIU Ai-hua,CHENG Chu.Multi-Source Data Integration Research of Virtual View Based on SDO[J].,2010,(08):89.
[6]韩松 曹宝香.基于本体的数据集成系统的设计与实现[J].计算机技术与发展,2010,(08):104.
　HAN Song,CAO Bao-xiang.Design and Implementation of Database Integration System Based on Ontology[J].,2010,(08):104.
[7]王卫东 高岭 张正娟 王峥.一种基于Internet的电子商务应用模型[J].计算机技术与发展,2006,(02):90.
　WANG Wei-dong,GAO Ling,ZHANG Zheng-juan,et al.An E- Business Application Model Based on Internet[J].,2006,(08):90.
[8]张保军 刘高军.基于TMN的电信网管数据集成研究与应用[J].计算机技术与发展,2006,(06):40.
　ZHANG Bao-jun,LIU Gao-jun.Research and Application of Telecom Network Management Data Integration Based on TMN[J].,2006,(08):40.
[9]赵赛 陈松乔 邓莎莎.基于规则树的Web数据集成包装器的设计与实现[J].计算机技术与发展,2006,(06):242.
　ZHAO Sai,CHEN Song-qiao,DENG Sha-sha.Design and Implementation of Web Data Integration Wrapper Based on Rule Tree[J].,2006,(08):242.
[10]陈洋 罗四维.异构数据库数据集成的研究与实现[J].计算机技术与发展,2006,(07):192.
　CHEN Yang,LUO Si-wei.Research and Implementation on Data Integration of Heterogeneous Database[J].,2006,(08):192.

更新日期/Last Update: 2018-09-10