Data model for geological spatiotemporal big data expression and storage management
-
摘要: 随着传感器实时监测等高新技术在地质勘查或生产开发中的应用，形成了动态与静态并存、多源异构的地质时空大数据。然而，目前地质信息系统在地质数据组织管理方面，主要是静态地存储和表达出地质矿产勘查或生产开发在某个特定时期的状态，尚不能满足对勘查或生产开发过程中实时信息的存储管理，进而支持对地质过程的分析和研判。针对性开展了地质时空大数据表达与存储管理的数据模型研究，目标是能够融合数据多源与时空多维性，又能够支持时间关联与时间多粒性。针对地质大数据、地质过程的静态与动态数据紧密结合的特点，采用面向对象和基于事件的思想，提出了基于事件多因素驱动的地质时空大数据概念模型，并开展了相应的地质大数据存储管理逻辑模型、基于系统工程库的管理结构和地质时空对象管理模型设计。基于地质时空大数据逻辑组织管理模型和时空过程的非关系型分布式数据库架构，设计了地质大数据存储模型。融合三维地质建模技术、动态监测信息实时可视化等技术，构建了所需模型过程模拟的三维环境，通过绑定观测数据源，设计实现了基于OPC接口的模拟数据产生事件、作用对象响应的矿山动态开采流程。在王家岭煤矿首采区地质数据支持下开展了应用研究，实现地质时空事件条件下的矿山动态开采过程表达与数据管理，验证了本文模型的可行性和有效性。Abstract: Geological big data is a typical spatiotemporal big data.Most of present geological information systems only support the storage and expression of the static status of geological exploration or production in a specific period.However, with the development and application of multiple sensors, real-time monitoring and other high-tech in the geological exploration, which results in more and more dynamic and multi-source heterogeneous geological data being produced.In practical application, it is in urgent need to deal with the real-time increasing big data in the geological exploration and production, which can strongly support the analysis and judgement of the geological process.In this paper, we study the traditional data model for geological spatiotemporal expression and storage management with the target of a new hybrid model, which can not only deal with the multi-sources and multi-dimensional data, but also support the time associated and time granularity.According to the characteristics of geological big data and the combinations of static and dynamic geological process data, we took both the object-oriented and event based method and put forward a geological event multi-factors driven model.We also designed the corresponding geological data logic model for distributed storage.Based on the geological data logical model and NoSQL database technology, we designed a non-relational distributed database schema.With the use of 3D geological modeling technology, real-time dynamic monitoring information visualization technology, we build a necessary virtual simulation environment for the hybrid model.By binding the observation data source, which is operation as an events emitter based on the OPC interface, the dynamic mining process is simulating as the geological objects responding to their corresponding events.Under the support of geological modeling data and reports and other data in the first mining area of Wang Jialing coal mine, we tried to implement the model application with multi geological spatiotemporal events.The results show that the data model is feasible, applicable for the expression and data management of mine dynamic mining process.
-
图 1 地质时空数据表达的总体概念模型
Figure 1. Overall conception model of geological spatio-temporal data expression
图 2 基于事件多因素驱动的地质时空数据概念模型
Figure 2. Event multi-factor driven geological spatio-temporal data model
图 3 基于对象与事件的地质时空数据存储管理逻辑模型
Figure 3. Logical model of geological big data storage management based on object and event
图 6 基于地质时空数据逻辑模型的非关系型分布式数据库架构
Figure 6. Non-relational distributed database framework based on geological spatio-temporal data logical model
图 7 MongoDB数据库系统中时空对象版本集合内部存储结构(DocID为文档的识别号)
a.观测对象到时空对象对应配置；b.整体的存储结构
Figure 7. Internal storage structure of spatio-temporal object version set in MongoDB database system
图 10 三维环境中传感器交互式安装与接入
Figure 10. Interactive mounting and accessing of sensors in 3D environment
图 11 基于OPC服务器的事件驱动矿山动态开采过程模拟
a.初始状态；b.多开采面同时动态开采模拟中间阶段；c.各采煤机以不同的速率进行开采状态
Figure 11. Event driven mining dynamic production process based on OPC server
表 1 文件系统中时空对象存储结构
Table 1. Storage structure of spatio-temporal object in file system
地质时空对象数量 对象1信息 时空对象1名称 时空对象1类型 开采点设置标志 开采点坐标 地质时空对象所包含的版本数量 版本a起始时间 版本a结束时间 版本a关联三维地质模型集合 版本b起始时间 版本b结束时间 版本b关联三维地质模型集合 … … … 对象2信息 … … … … … …… 对象n信息 …… 
下载: 导出CSV
-
[1] 严光生, 薛群威, 肖克炎, 等.地质调查大数据研究的主要问题分析[J].地质通报, 2015, 34(7):1273-1279. doi: 10.3969/j.issn.1671-2552.2015.07.004 [2] 肖克炎, 孙莉, 李楠, 等.大数据思维下的矿产资源评价[J].地质通报, 2015, 34(7):1266-1272. doi: 10.3969/j.issn.1671-2552.2015.07.003 [3] 王登红, 刘新星, 刘丽君.地质大数据的特点及其在成矿规律、成矿系列研究中的应用[J].矿床地质, 2015, 34(6):1143-1154. http://d.old.wanfangdata.com.cn/Periodical/kcdz201506005 [4] 周永章, 黎培兴, 王树功, 等.矿床大数据及智能矿床模型研究背景与进展[J].矿物岩石地球化学通报, 2017, 36(2):334-339. http://d.old.wanfangdata.com.cn/Periodical/kwysdqhxtb201702016 [5] Carr G R, Andrew A S, Denton G J.The "Glass Earth":Geochemical frontiers in exploration through cover[J].Australian Institute of Geoscientists Bulletin, 1999, 28:33-40. https://cn.bing.com/academic/profile?id=7d2f0272938a957ebf839da4f81479d8&encoded=0&v=paper_preview&mkt=zh-cn [6] 吴冲龙, 刘刚."玻璃地球"建设的现状、问题、趋势与对策[J].地质通报, 2015, 34(7):1280-1287. doi: 10.3969/j.issn.1671-2552.2015.07.005 [7] 郭华东, 王力哲, 陈方, 等.科学大数据与数字地球[J].科学通报, 2014, 59(12):1047-1054. http://d.old.wanfangdata.com.cn/Periodical/kjcgglyyj201608018 [8] Lake B, Salakhutdinov R, Tenenbaum J.Human-level concept learning through probabilistic program induction[J].Science, 2015, 266:1332-1338. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=c50ea5bb88b1527b4c774daffe17c013 [9] 赵鹏大.大数据时代数字找矿与定量评价[J].地质通报, 2015, 34(7):1255-1259. doi: 10.3969/j.issn.1671-2552.2015.07.001 [10] 吴冲龙, 刘刚, 张夏林, 等.地质科学大数据及其利用的若干问题探讨[J].科学通报, 2016, 61(16):1797-1807. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=kxtb201616010 [11] 张旗, 周永章.大数据正在引发地球科学领域一场深刻的革命:《地质科学》2017年大数据专题代序[J].地质科学, 2017, 52(3):637-648. http://d.old.wanfangdata.com.cn/Periodical/dzkx201703001 [12] 黄少芳, 刘晓鸿, 孙玲, 等.初论大数据时代地质资料信息集成与服务[J].中国矿业, 2016, 25(2):170-172. doi: 10.3969/j.issn.1004-4051.2016.02.033 [13] Langran G.Time in geographic information systems, technical issues in geographic information systems[M].Abington:Taylor & Francis, 1992. [14] 曹闻.时空数据模型及其应用研究[D].郑州: 解放军信息工程大学, 2011. [15] Koubarakis M.Spatio-temporal databases:The chorochronos approach[M].Berlin:Springer Science & Business Media, 2003. [16] Worboys M F.A unified model for spatial and temporal information[J].The Computer Journal, 1994, 37(1):26-34. doi: 10.1093/comjnl/37.1.26 [17] 郑扣根, 谭石禹, 潘云鹤.基于状态和变化的统一时空数据模型[J].软件学报, 2001, 12(9):1360-1365. http://d.old.wanfangdata.com.cn/Periodical/rjxb200109013 [18] Peuquet D J, Duan N.An event-based spatiotemporal data model (ESTDM) for temporal analysis of geographical data[J].International Journal of Geographical Information Systems, 1995, 9(1):7-24. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=10.1080/02693799508902022 [19] Chen J, Jiang J.An event-based approach to spatio-temporal data modeling in land subdivision systems[J].GeoInformatica, 2000, 4(4):387-402. doi: 10.1023/A:1026565929263 [20] 孟令奎, 赵春宇, 林志勇, 等.基于地理事件时变序列的时空数据模型研究与实现[J].武汉大学学报:信息科学版, 2003, 28(2):202-207. http://d.old.wanfangdata.com.cn/Periodical/whchkjdxxb200302015 [21] 龚健雅, 李小龙, 吴华意.实时GIS时空数据模型[J].测绘学报, 2014, 43(3):226-232. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxb201403002 [22] 舒红, 陈军, 杜道生, 等.面向对象的时空数据模型[J].武汉测绘科技大学学报, 1997, 22(3):229-233. doi: 10.3321/j.issn:1671-8860.1997.03.009 [23] 易宝林, 冯玉才, 曹忠升.2003.基于对象行为的时空拓扑模型[J].小型微型计算机系统, 2003, 24(6):1046-1049. doi: 10.3969/j.issn.1000-1220.2003.06.027 [24] 尹章才, 李霖, 艾自兴.基于图论的时空数据模型研究[J].测绘学报, 2003, 32(2):168-172. doi: 10.3321/j.issn:1001-1595.2003.02.015 [25] 龚健雅.GIS中面向对象时空数据模型[J].测绘学报, 1997, 26(4):289-298. doi: 10.3321/j.issn:1001-1595.1997.04.002 [26] 阙翔.面向动态过程模拟和实时表达的地质时空数据模型研究[D].武汉: 中国地质大学(武汉), 2015. [27] 田善君.面向地质大数据存储管理的时空数据模型研究[D].武汉: 中国地质大学(武汉), 2016. [28] Bristol S, Euliss N H, Booth N L.Science strategy for core science systems in the U.S.Geological Survey, 2013-2023-Public Review Release[R].Denver: U.S.Geological Survey, 2012. https://www.researchgate.net/publication/271508464_Science_Strategy_for_Core_Science_Systems_in_the_US_Geological_Survey_20132023Public_Review_Release [29] Wang L Z, Chen D, Hu Y, et al.Towards enabling cyberinfrastructure as a service in clouds[J].Computers & Electrical Engineering, 2013, 39:3-14. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=81bf0a5efdc4c0f540f7e7d0a2dc5715 [30] 吴冲龙, 刘刚, 田宜平, 等.论地质信息科学[J].地质科技情报, 2005, 24(3):1-8. http://d.old.wanfangdata.com.cn/Periodical/dzkjqb200503001 [31] 吕霞, 李健强, 龚爱华, 等.基于云架构的中国地质调查信息网格平台关键技术研究与实现[J].地质通报, 2015, 34(7):1323-1332. doi: 10.3969/j.issn.1671-2552.2015.07.010 [32] 李超岭, 李健强, 张宏春, 等.智能地质调查大数据应用体系架构与关键技术[J].地质通报, 2015, 34(7):1288-1299. doi: 10.3969/j.issn.1671-2552.2015.07.006 [33] 陈建平, 李婧, 崔宁, 等.大数据背景下地质云的构建与应用[J].地质通报, 2015, 34(7):1260-1265. doi: 10.3969/j.issn.1671-2552.2015.07.002 [34] 谭永杰.地质大数据与信息服务工程技术框架[J].地理信息世界, 2016, 23(1):1-9. doi: 10.3969/j.issn.1672-1586.2016.01.001 [35] He Z, Wu C, Liu G, et al.Decomposition tree:A spatio-temporal indexing method for movement big data[J].Cluster Computing, 2015, 18:1481-1492. doi: 10.1007/s10586-015-0475-3 [36] 李婧, 陈建平, 王翔.地质大数据存储技术[J].地质通报, 2015, 34(8):1589-1594. doi: 10.3969/j.issn.1671-2552.2015.08.018 -
下载:
点击查看大图
图(11) / 表(1)
计量
- 文章访问数: 1665
- PDF下载量: 3632
- 被引次数: 0
