[1]雷　鸣.气象大数据分布式存储设计与实现[J].计算机技术与发展,2021,31(05):193-197.[doi:10. 3969 / j. issn. 1673-629X. 2021. 05. 033]
　ＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＤｉｓｔｒｉｂｕｔｅｄＳｔｏｒａｇｅｏｆＭｅｔｅｏｒｏｌｏｇｉｃａｌＢｉｇＤａｔａ[J].,2021,31(05):193-197.[doi:10. 3969 / j. issn. 1673-629X. 2021. 05. 033]
点击复制

气象大数据分布式存储设计与实现()
分享到：

《计算机技术与发展》[ISSN:1006-6977/CN:61-1281/TN]

卷:
31
期数:
2021年05期
页码:
193-197
栏目:
应用前沿与综合
出版日期:
2021-05-10

文章信息/Info

Title:
ＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＤｉｓｔｒｉｂｕｔｅｄＳｔｏｒａｇｅｏｆＭｅｔｅｏｒｏｌｏｇｉｃａｌＢｉｇＤａｔａ
文章编号:
1673-629X(2021)05-0193-05
作者:
雷　鸣
天津市气象信息中心，天津３０００７４
Author(s):
ＬＥＩＭｉｎｇ
ＴｉａｎｊｉｎＭｅｔｅｏｒｏｌｏｇｉｃａｌＩｎｆｏｒｍａｔｉｏｎＣｅｎｔｅｒ，Ｔｉａｎｊｉｎ３０００７４，Ｃｈｉｎａ
关键词:
大数据; 分布式数据库; ＣＩＭＩＳＳ; ＮＡＳ; 文件存储
Keywords:
ｂｉｇｄａｔａ; ｄｉｓｔｒｉｂｕｔｅｄｄａｔａｂａｓｅ; ＣＩＭＩＳＳ; ＮＡＳ; ｆｉｌｅｓｔｏｒａｇ
分类号:
ＴＰ３９９
DOI:
10. 3969 / j. issn. 1673-629X. 2021. 05. 033
摘要:
随着气象数据种类、数量日益繁多，范围尺度越来越大，在海量气象数据场景下，无论传统数据库还是文件系统技术的查询和存储方式都不能很好地满足气象数据的高性能查询要求。基于大数据技术，以关系型数据存储、分布式ＮｏＳＱＬ数据库存储、网格存储系统和分布式ＮＡＳ存储相结合的混合云存储架构为基础，搭建了统一数据集、处理和服务的省局气象数据中心，有效实现了数据的共享，流程的高度集约，并利用全国气象ＭＵＳＩＣ接口进行统一的对外数据服务。实验表明，该方案不但能够有效与旧有ＣＩＭＩＳＳ存储系统无缝衔接，做到应用与数据分离，使用户对后台数据源的变动零感知，而且查询性能得到了较大提高，与传统存储相比，结构化数据的查询性能提升７．６倍以上，且随时间增长，优势会更加明显，非结构化数据的查询性能则提升了５倍多。
Abstract:
Ｗｉｔｈｔｈｅｉｎｃｒｅａｓｉｎｇｖａｒｉｅｔｙ，ｑｕａｎｔｉｔｙａｎｄｓｃａｌｅｏｆｍｅｔｅｏｒｏｌｏｇｉｃａｌｄａｔａ，ｔｈｅｑｕｅｒｙａｎｄｓｔｏｒａｇｅｍｅｔｈｏｄｓｏｆｂｏｔｈｔｒａｄｉｔｉｏｎａｌｄａｔａｂａｓｅａｎｄｆｉｌｅｓｙｓｔｅｍ ｔｅｃｈｎｏｌｏｇｙｃａｎｎｏｔｍｅｅｔｔｈｅｒｅｑｕｉｒｅｍｅｎｔｓｏｆｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅｑｕｅｒｙｏｆｍｅｔｅｏｒｏｌｏｇｉｃａｌｄａｔａ．Ｂａｓｅｄｏｎｂｉｇｄａｔａｔｅｃｈｎｏｌｏｇｙａｎｄａｈｙｂｒｉｄｃｌｏｕｄｓｔｏｒａｇｅａｒｃｈｉｔｅｃｔｕｒｅｃｏｍｂｉｎｉｎｇｒｅｌａｔｉｏｎａｌｄａｔａｓｔｏｒａｇｅ，ｄｉｓｔｒｉｂｕｔｅｄＮｏＳＱＬｄａｔａｂａｓｅｓｔｏｒａｇｅ，ｇｒｉｄｓｔｏｒａｇｅｓｙｓｔｅｍａｎｄｄｉｓｔｒｉｂｕｔｅｄＮＡＳｓｔｏｒａｇｅ，ｗｅｂｕｉｌｄａｐｒｏｖｉｎｃｉａｌｍｅｔｅｏｒｏｌｏｇｉｃａｌｄａｔａｃｅｎｔｅｒｗｉｔｈｕｎｉｆｉｅｄｄａｔａｓｅｔ，ｐｒｏｃｅｓｓｉｎｇａｎｄｓｅｒｖｉｃｅ，ｅｆｆｅｃｔｉｖｅｌｙｒｅａｌｉｚｉｎｇｄａｔａｓｈａｒｉｎｇａｎｄｈｉｇｈｌｙｉｎｔｅｎｓｉｖｅｐｒｏｃｅｓｓ，ａｎｄｕｓｅｔｈｅｎａｔｉｏｎａｌｍｅｔｅｏｒｏｌｏｇｉｃａｌｍｕｓｉｃｉｎｔｅｒｆａｃｅｆｏｒｕｎｉｆｉｅｄｅｘｔｅｒｎａｌｄａｔａｓｅｒｖｉｃｅｓ．ＴｈｅｅｘｐｅｒｉｍｅｎｔｓｈｏｗｓｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｓｃｈｅｍｅｃａｎｎｏｔｏｎｌｙｃｏｎｎｅｃｔｗｉｔｈｔｈｅｏｌｄＣＩＭＩＳＳｓｔｏｒａｇｅｓｙｓｔｅｍｓｅａｍｌｅｓｓｌｙ，ｓｅｐａｒａｔｅｔｈｅａｐｐｌｉｃａｔｉｏｎａｎｄｄａｔａ，ａｎｄｍａｋｅｕｓｅｒｓｈａｖｅｚｅｒｏｓｅｎｓｅｏｆｔｈｅｃｈａｎｇｅｏｆｂａｃｋｇｒｏｕｎｄｄａｔａｓｏｕｒｃｅ，ｂｕｔａｌｓｏｉｍｐｒｏｖｅｔｈｅｑｕｅｒｙｐｅｒｆｏｒｍａｎｃｅｇｒｅａｔｌｙ．Ｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｔｒａｄｉｔｉｏｎａｌｓｔｏｒａｇｅ，ｔｈｅｑｕｅｒｙｐｅｒｆｏｒｍａｎｃｅｏｆｓｔｒｕｃｔｕｒｅｄｄａｔａｃａｎｂｅｉｍｐｒｏｖｅｄｂｙｍｏｒｅｔｈａｎ７．６ｔｉｍｅｓ，ａｎｄｗｉｔｈｔｈｅｉｎｃｒｅａｓｅｏｆｔｉｍｅ，ｔｈｅａｄｖａｎｔａｇｅｓｗｉｌｌｂｅｍｏｒｅｏｂｖｉｏｕｓ．Ｔｈｅｑｕｅｒｙｏｆｕｎｓｔｒｕｃｔｕｒｅｄｄａｔａｑｕｅｒｙｐｅｒｆｏｒｍａｎｃｅｈａｓｂｅｅｎｉｍｐｒｏｖｅｄｂｙｍｏｒｅｔｈａｎ５ｔｉｍｅｓ．

相似文献/References:

[1]陈友良.油气田安全信息系统设计[J].计算机技术与发展,2010,(05):146.
　CHEN You-liang.Design of Safe Information System for Gas Well[J].,2010,(05):146.
[2]胡光杰 张燕平.分布式数据库在燃料管理系统中的应用[J].计算机技术与发展,2007,(12):234.
　HU Guang-jie,ZHANG Yan-ping.Application of Distributed Database in Fuel Management System[J].,2007,(05):234.
[3]吴梅 曹谢东 曹蕾 张琴.基于CIAgent技术的分布式数据库研究与设计[J].计算机技术与发展,2006,(11):50.
　WU Mei,CAO Xie-dong,CAO Lei,et al.Research and Design on Distribute Database System Based on CIAgent Technology[J].,2006,(05):50.
[4]李莉 赵秋阳 张贺亮 陈未如.基于分布式技术的网络教学资源平台的设计[J].计算机技术与发展,2011,(03):72.
　LI Li,ZHAO Qiu-yang,ZHANG He-liang,et al.Design of Network Teaching Resource Platform Based on Distributed Technology[J].,2011,(05):72.
[5]李章兵 车乌江.基于全局目录的分布式数据库数据一致性算法[J].计算机技术与发展,2011,(09):77.
　LI Zhang-bing,CHE Wu-jiang.Data Consistency Algorithm Based on Global Directory in Distributed Database[J].,2011,(05):77.
[6]李章兵 车乌江.基于全局目录的分布式数据库加锁管理算法[J].计算机技术与发展,2011,(09):245.
　LI Zhang-bing,CHE Wu-jiang.Locking Management Algorithm Based on Global Directory in Distributed Database[J].,2011,(05):245.
[7]仲志平 仲晓辉.分布式数据库中冲突检测技术研究[J].计算机技术与发展,2012,(01):217.
　ZHONG Zhi-ping,ZHONG Xiao-hui.Research on Technique for Detecting Conflicts in Distributed Database[J].,2012,(05):217.
[8]龙源 郑彦.一种Shared—Nothing分布式数据库的构建方法[J].计算机技术与发展,2012,(10):79.
　LONG Yuan,ZHENG Yan.A Construction Method of Shared-Nothing Distributed Database[J].,2012,(05):79.
[9]褚龙现.一种改进的半连接查询优化算法[J].计算机技术与发展,2012,(10):136.
　CHU Long-xian.An Improved Semi-join Query Optimization Algorithm[J].,2012,(05):136.
[10]严霄凤,张德馨.大数据研究[J].计算机技术与发展,2013,(04):168.
　YAN Xiao-feng,ZHANG De-xin.Big Data Research[J].,2013,(05):168.

更新日期/Last Update: 2020-05-10