留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

面向地质时空大数据表达与存储管理的数据模型研究

刘刚 吴冲龙 何珍文 翁正平 阙翔 田善君 李旸

刘刚, 吴冲龙, 何珍文, 翁正平, 阙翔, 田善君, 李旸. 面向地质时空大数据表达与存储管理的数据模型研究[J]. 地质科技通报, 2020, 39(1): 164-174. doi: 10.19509/j.cnki.dzkq.2020.0118
引用本文: 刘刚, 吴冲龙, 何珍文, 翁正平, 阙翔, 田善君, 李旸. 面向地质时空大数据表达与存储管理的数据模型研究[J]. 地质科技通报, 2020, 39(1): 164-174. doi: 10.19509/j.cnki.dzkq.2020.0118
Liu Gang, Wu Chonglong, He Zhenwen, Weng Zhengping, Que Xiang, Tian Shanjun, Li Yang. Data model for geological spatiotemporal big data expression and storage management[J]. Bulletin of Geological Science and Technology, 2020, 39(1): 164-174. doi: 10.19509/j.cnki.dzkq.2020.0118
Citation: Liu Gang, Wu Chonglong, He Zhenwen, Weng Zhengping, Que Xiang, Tian Shanjun, Li Yang. Data model for geological spatiotemporal big data expression and storage management[J]. Bulletin of Geological Science and Technology, 2020, 39(1): 164-174. doi: 10.19509/j.cnki.dzkq.2020.0118

面向地质时空大数据表达与存储管理的数据模型研究

doi: 10.19509/j.cnki.dzkq.2020.0118
基金项目: 

国家自然科学基金项目 U1711267

国家自然科学基金项目 41972306

国家自然科学基金项目 41902304

国家863计划课题 2012AA121401

"地学长江计划"核心项目 CUGCJ1810

湖北省创新群体项目 2019CFA023

详细信息
    作者简介:

    刘刚(1967-), 男, 教授, 博士生导师, 主要从事地学大数据、地学信息工程方面的教学与科研工作。E-mail:liugang@cug.edu.cn

  • 中图分类号: TP31

Data model for geological spatiotemporal big data expression and storage management

  • 摘要: 随着传感器实时监测等高新技术在地质勘查或生产开发中的应用,形成了动态与静态并存、多源异构的地质时空大数据。然而,目前地质信息系统在地质数据组织管理方面,主要是静态地存储和表达出地质矿产勘查或生产开发在某个特定时期的状态,尚不能满足对勘查或生产开发过程中实时信息的存储管理,进而支持对地质过程的分析和研判。针对性开展了地质时空大数据表达与存储管理的数据模型研究,目标是能够融合数据多源与时空多维性,又能够支持时间关联与时间多粒性。针对地质大数据、地质过程的静态与动态数据紧密结合的特点,采用面向对象和基于事件的思想,提出了基于事件多因素驱动的地质时空大数据概念模型,并开展了相应的地质大数据存储管理逻辑模型、基于系统工程库的管理结构和地质时空对象管理模型设计。基于地质时空大数据逻辑组织管理模型和时空过程的非关系型分布式数据库架构,设计了地质大数据存储模型。融合三维地质建模技术、动态监测信息实时可视化等技术,构建了所需模型过程模拟的三维环境,通过绑定观测数据源,设计实现了基于OPC接口的模拟数据产生事件、作用对象响应的矿山动态开采流程。在王家岭煤矿首采区地质数据支持下开展了应用研究,实现地质时空事件条件下的矿山动态开采过程表达与数据管理,验证了本文模型的可行性和有效性。

     

  • 图 1  地质时空数据表达的总体概念模型

    Figure 1.  Overall conception model of geological spatio-temporal data expression

    图 2  基于事件多因素驱动的地质时空数据概念模型

    Figure 2.  Event multi-factor driven geological spatio-temporal data model

    图 3  基于对象与事件的地质时空数据存储管理逻辑模型

    Figure 3.  Logical model of geological big data storage management based on object and event

    图 4  基于系统工程库的管理结构

    Figure 4.  Management structure based on system project base

    图 5  地质时空对象管理模型

    Figure 5.  Management model of geological spatio-temporal object

    图 6  基于地质时空数据逻辑模型的非关系型分布式数据库架构

    Figure 6.  Non-relational distributed database framework based on geological spatio-temporal data logical model

    图 7  MongoDB数据库系统中时空对象版本集合内部存储结构(DocID为文档的识别号)

    a.观测对象到时空对象对应配置;b.整体的存储结构

    Figure 7.  Internal storage structure of spatio-temporal object version set in MongoDB database system

    图 8  传感器OPC接口配置

    Figure 8.  Sensor configuration based on OPC interface

    图 9  三维地质剖面模型显示

    Figure 9.  Model display of 3D geological section model

    图 10  三维环境中传感器交互式安装与接入

    Figure 10.  Interactive mounting and accessing of sensors in 3D environment

    图 11  基于OPC服务器的事件驱动矿山动态开采过程模拟

    a.初始状态;b.多开采面同时动态开采模拟中间阶段;c.各采煤机以不同的速率进行开采状态

    Figure 11.  Event driven mining dynamic production process based on OPC server

    表  1  文件系统中时空对象存储结构

    Table  1.   Storage structure of spatio-temporal object in file system

    地质时空对象数量
    对象1信息 时空对象1名称 时空对象1类型
    开采点设置标志 开采点坐标
    地质时空对象所包含的版本数量
    版本a起始时间 版本a结束时间 版本a关联三维地质模型集合
    版本b起始时间 版本b结束时间 版本b关联三维地质模型集合
    对象2信息
    ……
    对象n信息 ……
    下载: 导出CSV
  • [1] 严光生, 薛群威, 肖克炎, 等.地质调查大数据研究的主要问题分析[J].地质通报, 2015, 34(7):1273-1279. doi: 10.3969/j.issn.1671-2552.2015.07.004
    [2] 肖克炎, 孙莉, 李楠, 等.大数据思维下的矿产资源评价[J].地质通报, 2015, 34(7):1266-1272. doi: 10.3969/j.issn.1671-2552.2015.07.003
    [3] 王登红, 刘新星, 刘丽君.地质大数据的特点及其在成矿规律、成矿系列研究中的应用[J].矿床地质, 2015, 34(6):1143-1154. http://d.old.wanfangdata.com.cn/Periodical/kcdz201506005
    [4] 周永章, 黎培兴, 王树功, 等.矿床大数据及智能矿床模型研究背景与进展[J].矿物岩石地球化学通报, 2017, 36(2):334-339. http://d.old.wanfangdata.com.cn/Periodical/kwysdqhxtb201702016
    [5] Carr G R, Andrew A S, Denton G J.The "Glass Earth":Geochemical frontiers in exploration through cover[J].Australian Institute of Geoscientists Bulletin, 1999, 28:33-40. https://cn.bing.com/academic/profile?id=7d2f0272938a957ebf839da4f81479d8&encoded=0&v=paper_preview&mkt=zh-cn
    [6] 吴冲龙, 刘刚."玻璃地球"建设的现状、问题、趋势与对策[J].地质通报, 2015, 34(7):1280-1287. doi: 10.3969/j.issn.1671-2552.2015.07.005
    [7] 郭华东, 王力哲, 陈方, 等.科学大数据与数字地球[J].科学通报, 2014, 59(12):1047-1054. http://d.old.wanfangdata.com.cn/Periodical/kjcgglyyj201608018
    [8] Lake B, Salakhutdinov R, Tenenbaum J.Human-level concept learning through probabilistic program induction[J].Science, 2015, 266:1332-1338. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=c50ea5bb88b1527b4c774daffe17c013
    [9] 赵鹏大.大数据时代数字找矿与定量评价[J].地质通报, 2015, 34(7):1255-1259. doi: 10.3969/j.issn.1671-2552.2015.07.001
    [10] 吴冲龙, 刘刚, 张夏林, 等.地质科学大数据及其利用的若干问题探讨[J].科学通报, 2016, 61(16):1797-1807. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=kxtb201616010
    [11] 张旗, 周永章.大数据正在引发地球科学领域一场深刻的革命:《地质科学》2017年大数据专题代序[J].地质科学, 2017, 52(3):637-648. http://d.old.wanfangdata.com.cn/Periodical/dzkx201703001
    [12] 黄少芳, 刘晓鸿, 孙玲, 等.初论大数据时代地质资料信息集成与服务[J].中国矿业, 2016, 25(2):170-172. doi: 10.3969/j.issn.1004-4051.2016.02.033
    [13] Langran G.Time in geographic information systems, technical issues in geographic information systems[M].Abington:Taylor & Francis, 1992.
    [14] 曹闻.时空数据模型及其应用研究[D].郑州: 解放军信息工程大学, 2011.
    [15] Koubarakis M.Spatio-temporal databases:The chorochronos approach[M].Berlin:Springer Science & Business Media, 2003.
    [16] Worboys M F.A unified model for spatial and temporal information[J].The Computer Journal, 1994, 37(1):26-34. doi: 10.1093/comjnl/37.1.26
    [17] 郑扣根, 谭石禹, 潘云鹤.基于状态和变化的统一时空数据模型[J].软件学报, 2001, 12(9):1360-1365. http://d.old.wanfangdata.com.cn/Periodical/rjxb200109013
    [18] Peuquet D J, Duan N.An event-based spatiotemporal data model (ESTDM) for temporal analysis of geographical data[J].International Journal of Geographical Information Systems, 1995, 9(1):7-24. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=10.1080/02693799508902022
    [19] Chen J, Jiang J.An event-based approach to spatio-temporal data modeling in land subdivision systems[J].GeoInformatica, 2000, 4(4):387-402. doi: 10.1023/A:1026565929263
    [20] 孟令奎, 赵春宇, 林志勇, 等.基于地理事件时变序列的时空数据模型研究与实现[J].武汉大学学报:信息科学版, 2003, 28(2):202-207. http://d.old.wanfangdata.com.cn/Periodical/whchkjdxxb200302015
    [21] 龚健雅, 李小龙, 吴华意.实时GIS时空数据模型[J].测绘学报, 2014, 43(3):226-232. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxb201403002
    [22] 舒红, 陈军, 杜道生, 等.面向对象的时空数据模型[J].武汉测绘科技大学学报, 1997, 22(3):229-233. doi: 10.3321/j.issn:1671-8860.1997.03.009
    [23] 易宝林, 冯玉才, 曹忠升.2003.基于对象行为的时空拓扑模型[J].小型微型计算机系统, 2003, 24(6):1046-1049. doi: 10.3969/j.issn.1000-1220.2003.06.027
    [24] 尹章才, 李霖, 艾自兴.基于图论的时空数据模型研究[J].测绘学报, 2003, 32(2):168-172. doi: 10.3321/j.issn:1001-1595.2003.02.015
    [25] 龚健雅.GIS中面向对象时空数据模型[J].测绘学报, 1997, 26(4):289-298. doi: 10.3321/j.issn:1001-1595.1997.04.002
    [26] 阙翔.面向动态过程模拟和实时表达的地质时空数据模型研究[D].武汉: 中国地质大学(武汉), 2015.
    [27] 田善君.面向地质大数据存储管理的时空数据模型研究[D].武汉: 中国地质大学(武汉), 2016.
    [28] Bristol S, Euliss N H, Booth N L.Science strategy for core science systems in the U.S.Geological Survey, 2013-2023-Public Review Release[R].Denver: U.S.Geological Survey, 2012. https://www.researchgate.net/publication/271508464_Science_Strategy_for_Core_Science_Systems_in_the_US_Geological_Survey_20132023Public_Review_Release
    [29] Wang L Z, Chen D, Hu Y, et al.Towards enabling cyberinfrastructure as a service in clouds[J].Computers & Electrical Engineering, 2013, 39:3-14. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=81bf0a5efdc4c0f540f7e7d0a2dc5715
    [30] 吴冲龙, 刘刚, 田宜平, 等.论地质信息科学[J].地质科技情报, 2005, 24(3):1-8. http://d.old.wanfangdata.com.cn/Periodical/dzkjqb200503001
    [31] 吕霞, 李健强, 龚爱华, 等.基于云架构的中国地质调查信息网格平台关键技术研究与实现[J].地质通报, 2015, 34(7):1323-1332. doi: 10.3969/j.issn.1671-2552.2015.07.010
    [32] 李超岭, 李健强, 张宏春, 等.智能地质调查大数据应用体系架构与关键技术[J].地质通报, 2015, 34(7):1288-1299. doi: 10.3969/j.issn.1671-2552.2015.07.006
    [33] 陈建平, 李婧, 崔宁, 等.大数据背景下地质云的构建与应用[J].地质通报, 2015, 34(7):1260-1265. doi: 10.3969/j.issn.1671-2552.2015.07.002
    [34] 谭永杰.地质大数据与信息服务工程技术框架[J].地理信息世界, 2016, 23(1):1-9. doi: 10.3969/j.issn.1672-1586.2016.01.001
    [35] He Z, Wu C, Liu G, et al.Decomposition tree:A spatio-temporal indexing method for movement big data[J].Cluster Computing, 2015, 18:1481-1492. doi: 10.1007/s10586-015-0475-3
    [36] 李婧, 陈建平, 王翔.地质大数据存储技术[J].地质通报, 2015, 34(8):1589-1594. doi: 10.3969/j.issn.1671-2552.2015.08.018
  • 加载中
图(11) / 表(1)
计量
  • 文章访问数:  942
  • PDF下载量:  3587
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-11-14

目录

    /

    返回文章
    返回