[1]李　庆,刘涵阅,张春生.基于折叠技术的大数据样本洗牌算法研究[J].计算机技术与发展,2021,31(05):43-47.[doi:10. 3969 / j. issn. 1673-629X. 2021. 05. 008]
　,*.ＲｅｓｅａｒｃｈｏｎＢｉｇＤａｔａＳａｍｐｌｉｎｇＳｈｕｆｆｌｅＡｌｇｏｒｉｔｈｍ ＢａｓｅｄｏｎＦｏｌｄｉｎｇＴｅｃｈｎｏｌｏｇｙ[J].,2021,31(05):43-47.[doi:10. 3969 / j. issn. 1673-629X. 2021. 05. 008]
点击复制

基于折叠技术的大数据样本洗牌算法研究()

《计算机技术与发展》[ISSN:1006-6977/CN:61-1281/TN]

卷:
31
期数:
2021年05期
页码:
43-47
栏目:
大数据分析与挖掘
出版日期:
2021-05-10

文章信息/Info

Title:
ＲｅｓｅａｒｃｈｏｎＢｉｇＤａｔａＳａｍｐｌｉｎｇＳｈｕｆｆｌｅＡｌｇｏｒｉｔｈｍ ＢａｓｅｄｏｎＦｏｌｄｉｎｇＴｅｃｈｎｏｌｏｇｙ
文章编号:
1673-629X(2021)05-0043-05
作者:
李　庆; 刘涵阅; 张春生
内蒙古民族大学计算机科学与技术学院，内蒙古通辽０２８０４３
Author(s):
ＬＩＱｉｎｇ; ＬＩＵＨａｎ－ｙｕｅ; ＺＨＡＮＧＣｈｕｎ－ｓｈｅｎｇ*
ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＩｎｎｅｒＭｏｎｇｏｌｉａＵｎｉｖｅｒｓｉｔｙｆｏｒＮａｔｉｏｎａｌｉｔｉｅｓ，Ｔｏｎｇｌｉａｏ０２８０４３，Ｃｈｉｎａ
关键词:
折叠技术; 大数据; 洗牌算法; 局部有效性; Ｇｕｉｄ
Keywords:
ｆｏｌｄｉｎｇｔｅｃｈｎｏｌｏｇｙ; ｂｉｇｄａｔａ; ｓｈｕｆｆｌｉｎｇａｌｇｏｒｉｔｈｍ; ｌｏｃａｌｅｆｆｅｃｔｉｖｅｎｅｓｓ; Ｇｕｉｄ
分类号:
ＴＰ３９１
DOI:
10. 3969 / j. issn. 1673-629X. 2021. 05. 008
摘要:
大数据处理效率问题是目前的研究热点，而基于样本抽样技术可降样本数量，是提高大数据处理效率的方法之一。文中提出一种基于折叠技术的大数据洗牌算法，首先给出洗牌算法的基本原理，同时定义离散度和均匀度两个评价指标，并从时间效率、离散度和均匀度３个角度进行了仿真实验。实验结果表明，基于折叠技术的大数据洗牌算法具有较高的时间效率，当样本分段数为样本总数的５％，循环次数为样本总数的２％时，离散度和均匀度明显优于其他基于随机技术的洗牌算法。基于折叠技术的大数据洗牌算法为大数据抽样和提高局部样本的可用性提供了一个新的途径，克服了抽样不均匀对原始样本产生的影响，提高了大数据挖掘的时间效率。
Abstract:
Ｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇｉｓｃｕｒｒｅｎｔｌｙａｈｏｔｒｅｓｅａｒｃｈｔｏｐｉｃ．Ｔｈｅｔｅｃｈｎｏｌｏｇｙｂａｓｅｄｏｎｓａｍｐｌｅｓａｍｐｌｉｎｇｃａｎｒｅｄｕｃｅｔｈｅｎｕｍｂｅｒｏｆｓａｍｐｌｅｓ，ｗｈｉｃｈｉｓｏｎｅｏｆｔｈｅｍｅｔｈｏｄｓｔｏｉｍｐｒｏｖｅｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇ．Ａｂｉｇｄａｔａｓａｍｐｌｉｎｇｓｈｕｆｆｌｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｆｏｌｄｉｎｇｔｅｃｈｎｏｌｏｇｙｉｓｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔｌｙ，ｔｈｅｐｒｉｎｃｉｐｌｅｏｆｔｈｅｓｈｕｆｆｌｉｎｇａｌｇｏｒｉｔｈｍｉｓｇｉｖｅｎ，ａｎｄｔｗｏｉｎｄｅｘｅｓｏｆｄｉｓｐｅｒｓｉｏｎａｎｄｕｎｉｆｏｒｍｉｔｙａｒｅｄｅｆｉｎｅｄ．Ｓｉｍｕｌａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｓａｒｅｃａｒｒｉｅｄｏｕｔｆｒｏｍ ｔｈｒｅｅａｎｇｌｅｓｏｆｔｉｍｅｅｆｆｉｃｉｅｎｃｙ，ｄｉｓｐｅｒｓｉｏｎａｎｄｕｎｉｆｏｒｍｉｔｙ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｓｈｏｗｓｔｈａｔｔｈｅｓｈｕｆｆｌｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｆｏｌｄｉｎｇｔｅｃｈｎｏｌｏｇｙｈａｓｃｏｍｐａｒａｔｉｖｅｈｉｇｈｔｉｍｅｅｆｆｉｃｉｅｎｃｙ．Ｗｈｅｎｔｈｅｎｕｍｂｅｒｏｆｓａｍｐｌｅｓｅｇｍｅｎｔｓｉｓ５％ ｏｆｔｈｅｔｏｔａｌｎｕｍｂｅｒｏｆｓａｍｐｌｅｓ，ａｎｄｔｈｅｎｕｍｂｅｒｏｆｃｙｃｌｅｓｉｓ２％ ｏｆｔｈｅｔｏｔａｌｎｕｍｂｅｒｏｆｓａｍｐｌｅｓ，ｔｈｅｄｉｓｐｅｒｓｉｏｎａｎｄｕｎｉｆｏｒｍｉｔｙａｒｅｓｉｇｎｉｆｉｃａｎｔｌｙｏｖｅｒ－ｐｅｒｆｏｒｍｅｄｔｈａｎｏｔｈｅｒｓｈｕｆｆｌｉｎｇａｌｇｏｒｉｔｈｍｓｂａｓｅｄｏｎｒａｎｄｏｍ ｔｅｃｈｎｉｑｕｅｓ．Ｂｉｇｄａｔａｓｈｕｆｆｌｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｆｏｌｄｉｎｇｔｅｃｈｎｏｌｏｇｙｐｒｏｖｉｄｅｓａｎｅｗｗａｙｆｏｒｂｉｇｄａｔａｓａｍｐｌｉｎｇａｎｄｉｍｐｒｏｖｉｎｇｔｈｅａｖａｉｌａｂｉｌｉｔｙｏｆｌｏｃａｌｓａｍｐｌｅｓ，ｗｈｉｃｈｏｖｅｒｃｏｍｅｓｔｈｅｉｎｆｌｕｅｎｃｅｏｆｕｎｅｖｅｎｓａｍｐｌｉｎｇｏｎｔｈｅｏｒｉｇｉｎａｌｓａｍｐｌｅｓａｎｄｉｍｐｒｏｖｅｓｔｈｅｔｉｍｅｅｆｆｉｃｉｅｎｃｙｏｆｂｉｇｄａｔａｍｉｎｉｎｇ．

相似文献/References:

[1]严霄凤,张德馨.大数据研究[J].计算机技术与发展,2013,(04):168.
　YAN Xiao-feng,ZHANG De-xin.Big Data Research[J].,2013,(05):168.
[2]王雷,陈彦先,袁哲,等. 面向预拌混凝土行业的云计算[J].计算机技术与发展,2014,24(08):14.
　WANG Lei,CHEN Yan-xian,YUAN Zhe JI Xu. Research on Cloud Computing for Ready-mixed Concrete Industry[J].,2014,24(05):14.
[3]金宗泽,冯亚丽,文必龙,等. 大数据分析流程框架的研究[J].计算机技术与发展,2014,24(08):117.
　JIN Zong-ze,FENG Ya-l,WEN Bi-long,et al. Research on Framework of Big Data Analytic Process[J].,2014,24(05):117.
[4]张也弛,周文钦,石润华. 一种面向云的大数据完整性检测协议[J].计算机技术与发展,2014,24(09):68.
　ZHANG Ye-chi,ZHOU Wen-qin,SHI Run-hua. A Big Data Integrity Checking Protocol for Cloud[J].,2014,24(05):68.
[5]谢怡,王航,刘新瀚,等. 大数据环境下数据读取关键技术研究[J].计算机技术与发展,2015,25(02):113.
　XIE Yi,WANG Hang,LIU Xin-han,et al. Research on Data Reading Techniques Based on Big Data Environment[J].,2015,25(05):113.
[6]付燕平,罗明宇,刘其军. 大数据三维模型快速显示技术研究[J].计算机技术与发展,2015,25(05):87.
　FU Yan-ping,LUO Ming-yu,LIU Qi-jun. Research on Fast Display Technology for Big Data Three-dimensional Model[J].,2015,25(05):87.
[7]赵震,任永昌. 大数据时代基于云计算的电子政务平台研究[J].计算机技术与发展,2015,25(10):145.
　ZHAO Zhen,REN Yong-chang. Research on E-government Platform Based on Cloud Computing in Big Data Era[J].,2015,25(05):145.
[8]胡存刚,程莹. 基于粒子群算法的大数据智能搜索引擎的研究[J].计算机技术与发展,2015,25(12):14.
　HU Cun-gang,CHENG Ying. Research on Big Data Intelligent Search Engine Based on PSO[J].,2015,25(05):14.
[9]肖洁,袁嵩,谭天. 大数据时代数据隐私安全研究[J].计算机技术与发展,2016,26(05):91.
　XIAO Jie,YUAN Song,TAN Tian. Research on Data Privacy in Big Data Age[J].,2016,26(05):91.
[10]郭先超,林宗缪,姚文勇. 互联网+质量检测平台设计[J].计算机技术与发展,2016,26(05):120.
　GUO Xian-chao,LIN Zong-miao,YAO Wen-yong. Design of Platform for Internet+ Quality Inspection[J].,2016,26(05):120.

更新日期/Last Update: 2020-05-10