Fundamental problems of integrated application of big data in geoscience
-
摘要: 进行地质科学大数据统合利用，涉及一系列理论、方法和技术问题，包括：多源多类异质异构地质数据的采集、存储和管理问题；数据汇聚、集成和结构化、可视化转换问题；数据同化、融合问题和深度挖掘、广度聚联问题；地质大数据有效利用的方式、方法和途径问题，以及云服务的模式和系统架构问题。所面对的挑战是实现结构化-半结构化-非结构化数据、静态勘查数据与动态监测数据的一体化存储、管理、处理和应用，以及大数据与小数据、混杂性数据与精确性数据、模型与数据、有模型与无模型、关联关系和因果关系的矛盾与统一问题。Abstract: The polymerization and utilization of geological science big data involves a series of theoretical, methodological and technical problems: multi-source, multi-class, heterogeneous and isomerism geological data collection, storage and management; data converge, integration and structuring, visualization conversion; data assimilation, fusion and depth mining, breadth-gathering and associated. Problems are also found in the pattern, method and way of effective utilization of geological big data, as well as the mode and system architecture of cloud service. The challenge is to realize the integrated storage, management, processing and application of structured, semi-structured and unstructured data, static survey data and dynamic monitoring data, as well as the contradiction and unity between big data and small data, mixed data and accuracy data, model and no model, correlation and causality.
-
图 1 固体矿产勘查大数据挖掘系列算法模型的构建工作流程
Figure 1. Work flow of constructing a series of algorithm models for big data mining in solid mineral exploration
图 2 黔东北地区隐伏锰矿床预测勘查历程的数据驱动追踪流程
左侧一列代表数据融合和数据挖掘的作业及其顺序, 中间一列代表挖掘的内容及其顺序, 右侧一列代表挖掘所得知识的序列及其聚联
Figure 2. Geological big data mining work flow for prediction and exploration of concealed manganese deposits in northeast Guizhou
图 3 航磁ΔT异常的基底线性构造提取
Figure 3. Basement linear structure extracted from aeromagnetic ΔT anomaly
图 4 利用布格重力异常挖掘线性体簇并提取深部控矿断裂带
Figure 4. Mining the linear body cluster by using the Bouguer gravity anomaly and extracting the deep ore-controlling fault zone
图 5 杨立掌矿床某钻孔w(Mn)和w(Cr)K-means聚类示例
Figure 5. K-means clustering example of Mn and Cr content in a hole in Yanglizhang deposit
图 6 基于微服务和面向多地质主题数据云服务平台体系结构[39]
Figure 6. Architecture of micro-service based and multi-geological subject data cloud service platform
表 1 杨立掌矿床某钻孔岩层的Mn、Cr元素质量分数
Table 1. Content of Mn, Cr elements in a bored rock layer of Yanglizhang deposit
取样地点 基岩性质 基岩层位 w(Mn)/
10-6w(Cr)/
10-6Mn/Cr 杨立掌ZK- 含锰炭质页岩 NhL2 142 500 15 杨立掌ZK- 炭质杂砂岩 NhL2 5 750 33 杨立掌ZK- 炭质页岩 Nhd1 3 250 35 杨立掌ZK- 炭质页岩 Nhd1 3 000 43 杨立掌ZK- 含炭质黏土 Nhd1 2 100 38 杨立掌ZK- 炭质页岩 Nhd1 2 000 40 杨立掌ZK- 炭质页岩 Nhd1 1 550 45 杨立掌ZK- 炭质页岩 Nhd1 1 500 30 杨立掌ZK- 炭质页岩 Nhd1 1 050 43 杨立掌ZK- 灰色黏土岩 Ptbn 925 43 杨立掌ZK- 炭质页岩 Nhd1 925 43 杨立掌ZK- 冰碛砾岩 NhL2 900 50 杨立掌ZK- 灰色黏土岩 Ptbn 650 45 17 850 455 39.230 
下载: 导出CSV
表 2 微服务架构与整体服务架构特征比较[39]
Table 2. Comparison of micro-service architecture and whole service architecture characteristics
架构 微服务架构 整体服务架构 服务形式 为应用主题提供集成化数据 为随机查询提供零散的个别数据 可扩展性 便于进行纵向和横向维度扩展 不便进行横向和纵向扩展 代码可维护性 实现有限功能，代码库很小，固有地限制了错误范围 结构复杂，难以维持和发展，跟踪发现错误(bugs)需要长时间熟读项目的基础代码 系统可维护性 促进了持续集成，大大简化了软件维护工作 添加或更新系统库文件将导致分布式系统的不一致性，增加软件维护工作 软件系统部署 测试和维护仅经历非常短的重新部署停机时间 各模块的任何改变都需重新启动整个应用，妨碍项目开发、测试和维护 容器支持 自然地适合容器化 容器化会降低程序性能 多语言支持 轻量级的通信机制实现跨语言跨框架开发 对开发者有技术限制，在原型中一定要使用同样的语言和框架进行开发
下载: 导出CSV
-
[1] 赵鹏大.大数据时代呼唤各科学领域的数据科学[J].中国科技奖励, 2014, 183:29-30. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgkjjl201409007 [2] 郭华东, 王力哲, 陈方, 等.科学大数据与数字地球[J].科学通报, 2014, 59(12):1047-1054. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=kxtb201412001 [3] 吴冲龙, 刘刚, 张夏林, 等.地质科学大数据及其利用的若干问题探讨[J].科学通报, 2016, 61(16):1797-1807. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=kxtb201616010 [4] Mayer-Svhönberger V, CuKier K.Big data:A revolution that will transform how we live, work and think[M].New York:Houghton Mifflin Harcourt Publishing Company, 2013. [5] 张夏林, 吴冲龙, 翁正平, 等.数字矿山软件(QuantyMine)若干关键技术的研发和应用[J].地球科学:中国地质大学学报, 2010, 35(2):302-310. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dqkx201002015 [6] 陈根深, 刘军旗, 何忆, 等.基于World Wind移动端的地质数据野外采集系统[J].计算机系统应用, 2019, 28(4):96-104. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=jsjxtyy201904015 [7] 李艳梅.基于Android平台的电子测绘的关键技术研究[D].武汉: 湖北大学, 2016. [8] 吴冲龙, 翁正平, 刘刚.论中国"玻璃国土"建设[J].地质科技情报, 2012, 31(6):3-8. http://www.cqvip.com/QK/93477A/20126/44012100.html [9] Wikipedia Foundation.Inc.Data lake.https://en.wikipedia.org/wiki/Data_lake.(2019-11-18). [10] 郭文惠.数据湖:一种更好的大数据存储架构[J].电脑知识与技术, 2016, 10(12):4-6. http://qikan.cqvip.com/Qikan/Article/Detail?id=68789083504849545148484851 [11] Coral W.Personal data lake with data gravity pull[C]//Li K Q, Qi H, Gaudiot J L, et al.5th IEEE international conference on big data and cloud.New York: IEEE, 2015. [12] 张达刚, 陈海宁, 陈华, 等.环境评估大数据管理平台初探及技术综述[J].计算机系统应用, 2019, 28(4):205-211. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=jsjxtyy201904032 [13] 刘刚, 吴冲龙, 何珍文, 等.地上下一体化的三维空间数据库模型设计与应用[J].地球科学:中国地质大学学报, 2011, 36(2):367-374. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dqkx201102022 [14] He Z W, Kraak M-J, Huisman O, et al.Parallel indexing technique for spatio-temporal data[J].ISPRS Journal of Photogrammetry and Remote Sensing, 2013, 78:116-128. doi: 10.1016/j.isprsjprs.2013.01.014 [15] 郑祖芳.分布式并行时空索引技术研究[D].武汉: 中国地质大学(武汉), 2014. [16] 龚健雅, 李小龙, 吴华意.实时GIS时空数据模型[J].测绘学报, 2014, 43:226-232. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxb201403002 [17] 刘刚, 吴冲龙, 何珍文, 等.面向地质时空大数据表达与存储管理的数据模型研究[J].地质科技通报, 2020, 39(1):164-174. http://dzkjqb.cug.edu.cn/CN/abstract/abstract9937.shtml [18] 田善君.面向地质大数据存储管理的时空数据模型研究[D].武汉: 中国地质大学(武汉), 2016. [19] 吴冲龙, 何珍文, 翁正平, 等.地质数据三维可视化属性、分类和关键技术[J].地质通报, 2011, 30(5):642-649. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgqydz201105003 [20] Carr G R, Andrew A S, Denton G J, et al.The "Glass Earth":Geochemical frontiers in exploration through cover[J].Australian Institute of Geoscientists Bulletin, 1999, 28:33-40. http://www.smedg.org.au/Sym99glass.htm [21] 陈国旭, 田宜平, 张夏林, 等.基于勘探剖面的三维地质模型快速构建及不确定性分析[J].地质科技情报, 2019, 38(2):275-280. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dzkjqb201902033 [22] 张文彪, 段太忠, 刘彦锋, 等.定量地质建模技术应用现状与发展趋势[J].地质科技情报, 2019, 38(3):1-9. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dzkjqb201903029 [23] Cherry D, Gill B, Pack T, et al.Geoscience Australia and geoScience Victoria: 3-D geological modeling developments in Australia[C]//Berg R C, Mathers S J, Kessler H, et al.Synopsis of current three dimensional geological mapping and modeling in geological survey organizations.Illinois State Geological Survey Circular 578, 2011: 19-24. [24] Stafleu J, Busschers F S, Maljers D, et al.TNO-geological survey of the Netherlands: 3-D geological modeling of the upper 500 to 1, 000 meters of the Dutch Subsurface[C]//Berg R C, Mathers S J, Kessler H, et al.Synopsis of current three dimensional geological mapping and modeling in geological survey organizations.Illinois: Illinois State Geological Survey Circular 578, 2011: 64-68. [25] Russell H A J, Boisvert E, Logan C, et al.Geological survey of Canada: Three-dimensional geological mapping for groundwater applications[C]//Berg R C, Mathers S J, Kessler H, et al.Synopsis of current three dimensional geological mapping and modeling in geological survey organizations.Illinois: Illinois State Geological Survey Circular 578, 2011: 31-41. [26] 吴冲龙, 刘刚."玻璃地球"建设的现状、问题、趋势与对策[J].地质通报, 2015, 34(7):1281-1287. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgqydz201507005 [27] 田宜平, 毛小平, 张志庭, 等."玻璃油田"建设与油气勘探开发信息化[J].地质科技情报, 2012, 31(6):16-22. http://www.cqvip.com/QK/93477A/20126/44012102.html [28] 翁正平, 何珍文, 毛小平, 等.三维可视化动态地质建模系统研发与应用[J].地质科技情报, 2012, 31(6):50-66. http://www.cnki.com.cn/Article/CJFDTotal-DZKQ201206011.htm [29] 吴冲龙, 刘刚, 田宜平, 等.论地质信息科学[J].地质科技情报, 2005, 24(3):1-8. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dzkjqb200503001 [30] 吴冲龙, 刘刚, 王力哲, 等.基于大数据的城市地质环境智能监管思路与方法[J].地质科技通报, 2020, 39(1):157-163. http://dzkjqb.cug.edu.cn/CN/abstract/abstract9936.shtml [31] Han J, Kamber M, Pei J.Data mining: Concepts and techniques[M].3rd edition.Burlington: Morgan Kaufmann, 2012. [32] Fayyad U M.Advances in knowledge discovery and data mining[M].Menlopark CA:AAAI/MIT Press, 1996. [33] 李德仁, 王树良, 李德毅.空间数据挖掘理论与应用[M].第2版.北京:科学出版社, 2013. [34] 吴冲龙, 刘刚.大数据与地质学的未来发展[J].地质通报, 2019, 38(7):1081-1088. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgqydz201907001 [35] 周琦, 杜远生, 覃英.古天然气渗漏沉积型锰矿床成矿系统与成矿模式:以黔湘渝毗邻区南华纪"大塘坡式"锰矿为例[J].矿床地质, 2013, 32(3):457-466. http://www.cnki.com.cn/Article/CJFDTotal-KCDZ201303001.htm [36] 周琦, 杜远生, 袁良军, 等.古天然气渗漏沉积型锰矿床找矿模型:以黔湘渝毗邻区南华纪"大塘坡式"锰矿为例[J].地质学报, 2017, 91(10):2285-2298. [37] Gray J, Szalay A.E Science: A transformed scientific method, presentation to the computer science and technology board of the national research council, Mountain View, CA, 11 January 2007[EB/OL]. [38] 陈建平, 李婧, 崔宁, 等.大数据背景下地质云的构建与应用[J].地质通报, 2015, 34(7):1260-1265. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgqydz201507002 [39] 彭诗杰.基于微服务体系结构和面向多地质主题的数据云服务关键技术研究[D].武汉: 中国地质大学(武汉), 2017. [40] Balalaie A, Heydarnoori A, Jamshidi P.Microservices architecture enables DevOps:Migration to a cloud-native architecture[J].IEEE Software, 2016, 33(3):42-52. doi: 10.1109/MS.2016.64 [41] Bohn R B, Messina J, Liu F, et al.NISTcloud computing reference architecture[C]//Anon.IEEE world congress on services.New York: IEEE Computer Society, 2011: 594-596. -
下载:
点击查看大图
图(6) / 表(2)
计量
- 文章访问数: 1261
- PDF下载量: 1941
- 被引次数: 0
