[1]张恩红,尹海燕,李高洁.基于 Elasticsearch 的气象数据检索技术研究[J].计算机技术与发展,2019,29(11):154-158.[doi:10. 3969 / j. issn. 1673-629X. 2019. 11. 031]
　ZHANG En-hong,YIN Hai-yan,LI Gao-jie.Research on Meteorological Data Retrieval Technology Based on Elasticsearch[J].,2019,29(11):154-158.[doi:10. 3969 / j. issn. 1673-629X. 2019. 11. 031]
点击复制

基于 Elasticsearch 的气象数据检索技术研究()
分享到：

《计算机技术与发展》[ISSN:1006-6977/CN:61-1281/TN]

卷:
29
期数:
2019年11期
页码:
154-158
栏目:
应用开发研究
出版日期:
2019-11-10

文章信息/Info

Title:
Research on Meteorological Data Retrieval Technology Based on Elasticsearch
文章编号:
1673-629X(2019)11-0154-05
作者:
张恩红; 尹海燕; 李高洁
广东省气象探测数据中心,广东 广州 510641
Author(s):
ZHANG En-hong; YIN Hai-yan; LI Gao-jie
Guangdong Meteorological Observation Data Center,Guangzhou 510641,China
关键词:
Elasticsearch; 海量数据; 检索; 元数据; 数据服务
Keywords:
Elasticsearch; massive data; retrieval; metadata; data service
分类号:
TP39
DOI:
10. 3969 / j. issn. 1673-629X. 2019. 11. 031
摘要:
气象行业的数据量非常大,系统需要每天处理约有 800 G 的增量数据,总容量超过 1 P 的历史数据文件。 为了能够及时、快速地存储这些数据,并且能解决气象数据服务的需求,构建一套科学、高效的数据服务系统迫在眉睫。 基于Elasticsearch 技术,采用元数据的管理方法,设计了一套数据管理系统。 按照业务类型和数据名称特点,把所有数据分成了13 个大类和 260 多个元数据类型,设计了相同的元数据模板,便于统一管理。 同时对 13 个大类分别构建了索引,定义了气象行业专业的检索词条,实现了快速定位和访问数根据文件的需求。 该设计方法实现了1 ~2 秒钟内可以从5 亿个文件库中搜索出某一大类的文件,在 2 ~3 秒钟可以更加精确地搜索出某一元数据类型的数据。 基于以上设计方案,基本满足了当前的数据服务需要。
Abstract:
The amount of data in the meteorological industry is very large. The system needs to process about 800 G incremental data every day,with a total capacity of more than 1 P of historical data files. In order to store these data in time and quickly,and to meet the needs of meteorological data service,it is urgent to build a set of scientific and efficient data service system. Based on Elasticsearch technology and using metadata management method,we design a data management system. According to the characteristics of business type and data name,all data are divided into 13 categories and more than 260 metadata types. The same metadata template is designed to facilitate unified management. At the same time, the indexes of 13 categories are constructed separately. The retrieval terms of meteorological profession are defined, and the requirement of fast positioning and accessing data files is realized. The proposed method can search a large class of files from 500 million file libraries in 1 ~2 seconds. In 2~3 seconds,the data of a metadata type can be searched more accurately. Based on the above design scheme,it can basically meet the current data service needs.

相似文献/References:

[1]夏奇思 王汝传.基于属性约简的粗糙集海量数据分割算法研究[J].计算机技术与发展,2010,(04):5.
　XIA Qi-si,WANG Ru-chuan.Mass Data Partition for Rough Set on Attribute Reduction Algorithm[J].,2010,(11):5.
[2]宫中樑 唐杰 武港山.基于预计算切片序列的动态体绘制技术[J].计算机技术与发展,2010,(08):5.
　GONG Zhong-liang,TANG Jie,WU Gang-shan.A Precomputed Slicing Based Volume Rendering Technique[J].,2010,(11):5.
[3]张莉 唐立文.基于四叉树的海量空间数据无缝组织研究[J].计算机技术与发展,2011,(01):77.
　ZHANG li,TANG Li-wen.Study of Organizing Seamless Great Capacity Spatial Data Based on Quadtree[J].,2011,(11):77.
[4]张辉 赵郁亮 徐江 孙伟华.基于Oracle数据库海量数据的查询优化研究[J].计算机技术与发展,2012,(02):165.
　ZHANG Hui,ZHAO Yu-liang,XU Jiang,et al.Query Optimization Research on Mass of Data Based on Oracle Database[J].,2012,(11):165.
[5]王柏 胡谷雨 罗健欣.数字地球系统中海量数据存储与传输方案研究[J].计算机技术与发展,2012,(03):81.
　WANG Bai,HU Gu-yu,LUO Jian-xin.Research of Massive Data Storage and Transmission for Digital Earth System[J].,2012,(11):81.
[6]贺瑶,王文庆,薛飞.基于云计算的海量数据挖掘研究[J].计算机技术与发展,2013,(02):69.
[7]江雨燕,李平.基于PFP-Growth算法的海量频繁项集挖掘[J].计算机技术与发展,2013,(09):63.
　JIANG Yu-yan,LI Ping.Mining Massive Frequent Items Based on PFP-Growth Algorithm[J].,2013,(11):63.
[8]梁宗保,胡怡然,张凯.桥梁健康监测信息的数据驱动处理方法研究[J].计算机技术与发展,2013,(10):258.
　LIANG Zong-bao[],HU Yi-ran[],ZHANG Kai[].Research of Data Drive Processing Method of Bridge Health Monitoring Information[J].,2013,(11):258.
[9]王添,姜麟,米允龙. 海量数据下不完备信息系统的知识约简算法[J].计算机技术与发展,2015,25(01):137.
　WANG Tian,JIANG Lin,MI Yun-long. Knowledge Reduction Algorithms of Incomplete Information System in Massive Datasets[J].,2015,25(11):137.
[10]徐辉,王宁章,雷琳琳. 一种海量中文地址转化与切割的方法研究[J].计算机技术与发展,2015,25(11):6.
　XU Hui,WANG Ning-zhang,LEI Lin-lin. Research on a Massive Chinese Address Conversion and Cutting Method[J].,2015,25(11):6.

更新日期/Last Update: 2019-11-10