[1]刘金晶,王 梅.大数据下的数据质量评价指标构建实践[J].计算机技术与发展,2019,29(10):46-50.[doi:10. 3969 / j. issn. 1673-629X. 2019. 10. 010]
　LIU Jin-jing,WANG Mei.Practice of Data Quality Evaluating Index Construction under Big Data[J].,2019,29(10):46-50.[doi:10. 3969 / j. issn. 1673-629X. 2019. 10. 010]
点击复制

大数据下的数据质量评价指标构建实践()
分享到：

《计算机技术与发展》[ISSN:1006-6977/CN:61-1281/TN]

卷:
29
期数:
2019年10期
页码:
46-50
栏目:
应用开发研究
出版日期:
2019-10-10

文章信息/Info

Title:
Practice of Data Quality Evaluating Index Construction under Big Data
文章编号:
1673-629X(2019)10-0046-05
作者:
刘金晶1 ; 王 梅2
1. 北京锐安科技有限公司 大数据分析部,北京 100192; 2. 北京锐安科技有限公司 研究院,北京 100192
Author(s):
LIU Jin-jing 1 ; WANG Mei 2
1. Department of Big Data Analysis,Beijing Rui An Technology Co. ,Ltd. ,Beijing 100192,China; 2. Institute of Beijing Rui An Technology Co. ,Ltd. ,Beijing 100192,China
关键词:
大数据; 数据质量; 评价指标; 量化评估
Keywords:
big data; data quality; evaluating index; quantitative assessment
分类号:
TP31
DOI:
10. 3969 / j. issn. 1673-629X. 2019. 10. 010
摘要:
大数据下的数据特点决定了对其数据价值的萃取犹如沙里淘金,需要进行大量的数据处理、分析和挖掘才能获得其背后的价值。 而进行数据分析与挖掘,且获得真正有价值的信息与知识,良好的数据质量得到保障是前提。 因此,数据质量的量化评估成为这个过程中很重要的一环。 通过综合国内外对数据质量评价体系的研究成果,结合所在行业和大数据系统的特点,提出了一个评价指标的框架,不仅包含数据本身的质量,而且包括数据处理过程与数据效能的质量。 全面对大数据处理平台下的数据质量进行量化评估,是对数据质量评价体系在大数据生产系统进行实践的第一步,为大数据下的数据治理提供了新的研究和实践经验,也为后续进行持续的数据改进、数据治理、数据价值到信息价值的提炼提供借鉴。
Abstract:
The characteristics of big data determine that the extraction of the underlying value in big data is like panning for gold in sand,which requires a lot of data processing,analysis and mining to obtain the value behind it. For data analysis and mining,and to obtain truly valuable information and knowledge,guaranteeing great data quality is premise. Therefore,quantitative assessment of data quality has become an important part of this process. By integrating the research results of data quality evaluation system at home and abroad,combined with the characteristics of the industry and big data system,a framework for evaluating indicators is put forward,including not only the quality of the data itself,but also the quality of the data processing and data performance. Comprehensive quantitative evaluation of data quality under the big data processing platform is the first step in the practice of the data quality evaluation system of the actual big data production system,which provides new research and practical experience for data governance under big data,and also provides reference for continuous data improvement,data governance,data value and information value extraction.

相似文献/References:

[1]丁海龙 徐宏炳.数据质量分析及应用[J].计算机技术与发展,2007,(03):236.
　DING Hai-long,XU Hong-bing.Data Quality Analysis and Application[J].,2007,(10):236.
[2]黄武锋 郑华.面向企业信息化的数据质量评估研究[J].计算机技术与发展,2011,(01):185.
　HUANG Wu-feng,ZHENG Hua.Study of Data Quality Assessment for Enterprise Informationization[J].,2011,(10):185.
[3]石彦华 李蜀瑜.知识建模的清洗模型研究[J].计算机技术与发展,2011,(11):124.
　SHI Yan-hua,LI Shu-yu.Research of Data Cleaning Model Based on Knowledge[J].,2011,(10):124.
[4]刘益江 毛宁 陈庆新.一种评估数据仓库设计质量的方法[J].计算机技术与发展,2012,(09):161.
　LIU Yi-jiang,MAO Ning,CHEN Qing-xin.A Methodology for Data Warehouse Design Quality Assessment[J].,2012,(10):161.
[5]袁满,张雪.一种基于规则的数据质量评价模型[J].计算机技术与发展,2013,(03):81.
　YUAN Man,ZHANG Xue.A Data Quality Assessment Model Based on Rules[J].,2013,(10):81.
[6]严霄凤,张德馨.大数据研究[J].计算机技术与发展,2013,(04):168.
　YAN Xiao-feng,ZHANG De-xin.Big Data Research[J].,2013,(10):168.
[7]王雷,陈彦先,袁哲,等. 面向预拌混凝土行业的云计算[J].计算机技术与发展,2014,24(08):14.
　WANG Lei,CHEN Yan-xian,YUAN Zhe JI Xu. Research on Cloud Computing for Ready-mixed Concrete Industry[J].,2014,24(10):14.
[8]金宗泽,冯亚丽,文必龙,等. 大数据分析流程框架的研究[J].计算机技术与发展,2014,24(08):117.
　JIN Zong-ze,FENG Ya-l,WEN Bi-long,et al. Research on Framework of Big Data Analytic Process[J].,2014,24(10):117.
[9]张也弛,周文钦,石润华. 一种面向云的大数据完整性检测协议[J].计算机技术与发展,2014,24(09):68.
　ZHANG Ye-chi,ZHOU Wen-qin,SHI Run-hua. A Big Data Integrity Checking Protocol for Cloud[J].,2014,24(10):68.
[10]赵震,张龙昌. XML文档实体识别技术研究[J].计算机技术与发展,2014,24(10):84.
　ZHAO Zhen,ZHANG Long-chang. Research on Entity Identification Technology on XML Documents[J].,2014,24(10):84.

更新日期/Last Update: 2019-10-10