留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

地质科学大数据统合应用的基本问题

吴冲龙 刘刚 周琦 张夏林 徐凯

吴冲龙, 刘刚, 周琦, 张夏林, 徐凯. 地质科学大数据统合应用的基本问题[J]. 地质科技通报, 2020, 39(4): 1-11. doi: 10.19509/j.cnki.dzkq.2020.0401
引用本文: 吴冲龙, 刘刚, 周琦, 张夏林, 徐凯. 地质科学大数据统合应用的基本问题[J]. 地质科技通报, 2020, 39(4): 1-11. doi: 10.19509/j.cnki.dzkq.2020.0401
Wu Chonglong, Liu Gang, Zhou Qi, Zhang Xialin, Xu Kai. Fundamental problems of integrated application of big data in geoscience[J]. Bulletin of Geological Science and Technology, 2020, 39(4): 1-11. doi: 10.19509/j.cnki.dzkq.2020.0401
Citation: Wu Chonglong, Liu Gang, Zhou Qi, Zhang Xialin, Xu Kai. Fundamental problems of integrated application of big data in geoscience[J]. Bulletin of Geological Science and Technology, 2020, 39(4): 1-11. doi: 10.19509/j.cnki.dzkq.2020.0401

地质科学大数据统合应用的基本问题

doi: 10.19509/j.cnki.dzkq.2020.0401
基金项目: 

国家自然科学基金项目 U1711267

国家自然科学基金项目 41942039

贵州省科技计划 黔科合支撑[2017]2951

贵州省科技计划 黔科合支撑[2019]2868

贵州省科技计划 黔科合支撑[2020]4Y039号

贵州省科技计划 黔科合平台[2018]5618

贵州省地质勘查基金项目 2019-02号

贵州省地矿局科研项目 黔地矿科合[2017]2

贵州省地矿局科研项目 黔地矿科合[2018]07

详细信息
    作者简介:

    吴冲龙(1945-), 教授, 博士生导师, 主要从事矿产资源勘查和地质信息科学与技术领域的研究与教学工作。E-mail:804077427@qq.com

  • 中图分类号: TP31

Fundamental problems of integrated application of big data in geoscience

  • 摘要: 进行地质科学大数据统合利用,涉及一系列理论、方法和技术问题,包括:多源多类异质异构地质数据的采集、存储和管理问题;数据汇聚、集成和结构化、可视化转换问题;数据同化、融合问题和深度挖掘、广度聚联问题;地质大数据有效利用的方式、方法和途径问题,以及云服务的模式和系统架构问题。所面对的挑战是实现结构化-半结构化-非结构化数据、静态勘查数据与动态监测数据的一体化存储、管理、处理和应用,以及大数据与小数据、混杂性数据与精确性数据、模型与数据、有模型与无模型、关联关系和因果关系的矛盾与统一问题。

     

  • 图 1  固体矿产勘查大数据挖掘系列算法模型的构建工作流程

    Figure 1.  Work flow of constructing a series of algorithm models for big data mining in solid mineral exploration

    图 2  黔东北地区隐伏锰矿床预测勘查历程的数据驱动追踪流程

    左侧一列代表数据融合和数据挖掘的作业及其顺序, 中间一列代表挖掘的内容及其顺序, 右侧一列代表挖掘所得知识的序列及其聚联

    Figure 2.  Geological big data mining work flow for prediction and exploration of concealed manganese deposits in northeast Guizhou

    图 3  航磁ΔT异常的基底线性构造提取

    Figure 3.  Basement linear structure extracted from aeromagnetic ΔT anomaly

    图 4  利用布格重力异常挖掘线性体簇并提取深部控矿断裂带

    Figure 4.  Mining the linear body cluster by using the Bouguer gravity anomaly and extracting the deep ore-controlling fault zone

    图 5  杨立掌矿床某钻孔w(Mn)和w(Cr)K-means聚类示例

    Figure 5.  K-means clustering example of Mn and Cr content in a hole in Yanglizhang deposit

    图 6  基于微服务和面向多地质主题数据云服务平台体系结构[39]

    Figure 6.  Architecture of micro-service based and multi-geological subject data cloud service platform

    表  1  杨立掌矿床某钻孔岩层的Mn、Cr元素质量分数

    Table  1.   Content of Mn, Cr elements in a bored rock layer of Yanglizhang deposit

    取样地点 基岩性质 基岩层位 w(Mn)/
    10-6
    w(Cr)/
    10-6
    Mn/Cr
    杨立掌ZK- 含锰炭质页岩 NhL2 142 500 15
    杨立掌ZK- 炭质杂砂岩 NhL2 5 750 33
    杨立掌ZK- 炭质页岩 Nhd1 3 250 35
    杨立掌ZK- 炭质页岩 Nhd1 3 000 43
    杨立掌ZK- 含炭质黏土 Nhd1 2 100 38
    杨立掌ZK- 炭质页岩 Nhd1 2 000 40
    杨立掌ZK- 炭质页岩 Nhd1 1 550 45
    杨立掌ZK- 炭质页岩 Nhd1 1 500 30
    杨立掌ZK- 炭质页岩 Nhd1 1 050 43
    杨立掌ZK- 灰色黏土岩 Ptbn 925 43
    杨立掌ZK- 炭质页岩 Nhd1 925 43
    杨立掌ZK- 冰碛砾岩 NhL2 900 50
    杨立掌ZK- 灰色黏土岩 Ptbn 650 45
    17 850 455 39.230
    下载: 导出CSV

    表  2  微服务架构与整体服务架构特征比较[39]

    Table  2.   Comparison of micro-service architecture and whole service architecture characteristics

    架构 微服务架构 整体服务架构
    服务形式 为应用主题提供集成化数据 为随机查询提供零散的个别数据
    可扩展性 便于进行纵向和横向维度扩展 不便进行横向和纵向扩展
    代码可维护性 实现有限功能,代码库很小,固有地限制了错误范围 结构复杂,难以维持和发展,跟踪发现错误(bugs)需要长时间熟读项目的基础代码
    系统可维护性 促进了持续集成,大大简化了软件维护工作 添加或更新系统库文件将导致分布式系统的不一致性,增加软件维护工作
    软件系统部署 测试和维护仅经历非常短的重新部署停机时间 各模块的任何改变都需重新启动整个应用,妨碍项目开发、测试和维护
    容器支持 自然地适合容器化 容器化会降低程序性能
    多语言支持 轻量级的通信机制实现跨语言跨框架开发 对开发者有技术限制,在原型中一定要使用同样的语言和框架进行开发
    下载: 导出CSV
  • [1] 赵鹏大.大数据时代呼唤各科学领域的数据科学[J].中国科技奖励, 2014, 183:29-30. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgkjjl201409007
    [2] 郭华东, 王力哲, 陈方, 等.科学大数据与数字地球[J].科学通报, 2014, 59(12):1047-1054. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=kxtb201412001
    [3] 吴冲龙, 刘刚, 张夏林, 等.地质科学大数据及其利用的若干问题探讨[J].科学通报, 2016, 61(16):1797-1807. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=kxtb201616010
    [4] Mayer-Svhönberger V, CuKier K.Big data:A revolution that will transform how we live, work and think[M].New York:Houghton Mifflin Harcourt Publishing Company, 2013.
    [5] 张夏林, 吴冲龙, 翁正平, 等.数字矿山软件(QuantyMine)若干关键技术的研发和应用[J].地球科学:中国地质大学学报, 2010, 35(2):302-310. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dqkx201002015
    [6] 陈根深, 刘军旗, 何忆, 等.基于World Wind移动端的地质数据野外采集系统[J].计算机系统应用, 2019, 28(4):96-104. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=jsjxtyy201904015
    [7] 李艳梅.基于Android平台的电子测绘的关键技术研究[D].武汉: 湖北大学, 2016.
    [8] 吴冲龙, 翁正平, 刘刚.论中国"玻璃国土"建设[J].地质科技情报, 2012, 31(6):3-8. http://www.cqvip.com/QK/93477A/20126/44012100.html
    [9] Wikipedia Foundation.Inc.Data lake.https://en.wikipedia.org/wiki/Data_lake.(2019-11-18).
    [10] 郭文惠.数据湖:一种更好的大数据存储架构[J].电脑知识与技术, 2016, 10(12):4-6. http://qikan.cqvip.com/Qikan/Article/Detail?id=68789083504849545148484851
    [11] Coral W.Personal data lake with data gravity pull[C]//Li K Q, Qi H, Gaudiot J L, et al.5th IEEE international conference on big data and cloud.New York: IEEE, 2015.
    [12] 张达刚, 陈海宁, 陈华, 等.环境评估大数据管理平台初探及技术综述[J].计算机系统应用, 2019, 28(4):205-211. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=jsjxtyy201904032
    [13] 刘刚, 吴冲龙, 何珍文, 等.地上下一体化的三维空间数据库模型设计与应用[J].地球科学:中国地质大学学报, 2011, 36(2):367-374. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dqkx201102022
    [14] He Z W, Kraak M-J, Huisman O, et al.Parallel indexing technique for spatio-temporal data[J].ISPRS Journal of Photogrammetry and Remote Sensing, 2013, 78:116-128. doi: 10.1016/j.isprsjprs.2013.01.014
    [15] 郑祖芳.分布式并行时空索引技术研究[D].武汉: 中国地质大学(武汉), 2014.
    [16] 龚健雅, 李小龙, 吴华意.实时GIS时空数据模型[J].测绘学报, 2014, 43:226-232. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxb201403002
    [17] 刘刚, 吴冲龙, 何珍文, 等.面向地质时空大数据表达与存储管理的数据模型研究[J].地质科技通报, 2020, 39(1):164-174. http://dzkjqb.cug.edu.cn/CN/abstract/abstract9937.shtml
    [18] 田善君.面向地质大数据存储管理的时空数据模型研究[D].武汉: 中国地质大学(武汉), 2016.
    [19] 吴冲龙, 何珍文, 翁正平, 等.地质数据三维可视化属性、分类和关键技术[J].地质通报, 2011, 30(5):642-649. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgqydz201105003
    [20] Carr G R, Andrew A S, Denton G J, et al.The "Glass Earth":Geochemical frontiers in exploration through cover[J].Australian Institute of Geoscientists Bulletin, 1999, 28:33-40. http://www.smedg.org.au/Sym99glass.htm
    [21] 陈国旭, 田宜平, 张夏林, 等.基于勘探剖面的三维地质模型快速构建及不确定性分析[J].地质科技情报, 2019, 38(2):275-280. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dzkjqb201902033
    [22] 张文彪, 段太忠, 刘彦锋, 等.定量地质建模技术应用现状与发展趋势[J].地质科技情报, 2019, 38(3):1-9. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dzkjqb201903029
    [23] Cherry D, Gill B, Pack T, et al.Geoscience Australia and geoScience Victoria: 3-D geological modeling developments in Australia[C]//Berg R C, Mathers S J, Kessler H, et al.Synopsis of current three dimensional geological mapping and modeling in geological survey organizations.Illinois State Geological Survey Circular 578, 2011: 19-24.
    [24] Stafleu J, Busschers F S, Maljers D, et al.TNO-geological survey of the Netherlands: 3-D geological modeling of the upper 500 to 1, 000 meters of the Dutch Subsurface[C]//Berg R C, Mathers S J, Kessler H, et al.Synopsis of current three dimensional geological mapping and modeling in geological survey organizations.Illinois: Illinois State Geological Survey Circular 578, 2011: 64-68.
    [25] Russell H A J, Boisvert E, Logan C, et al.Geological survey of Canada: Three-dimensional geological mapping for groundwater applications[C]//Berg R C, Mathers S J, Kessler H, et al.Synopsis of current three dimensional geological mapping and modeling in geological survey organizations.Illinois: Illinois State Geological Survey Circular 578, 2011: 31-41.
    [26] 吴冲龙, 刘刚."玻璃地球"建设的现状、问题、趋势与对策[J].地质通报, 2015, 34(7):1281-1287. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgqydz201507005
    [27] 田宜平, 毛小平, 张志庭, 等."玻璃油田"建设与油气勘探开发信息化[J].地质科技情报, 2012, 31(6):16-22. http://www.cqvip.com/QK/93477A/20126/44012102.html
    [28] 翁正平, 何珍文, 毛小平, 等.三维可视化动态地质建模系统研发与应用[J].地质科技情报, 2012, 31(6):50-66. http://www.cnki.com.cn/Article/CJFDTotal-DZKQ201206011.htm
    [29] 吴冲龙, 刘刚, 田宜平, 等.论地质信息科学[J].地质科技情报, 2005, 24(3):1-8. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dzkjqb200503001
    [30] 吴冲龙, 刘刚, 王力哲, 等.基于大数据的城市地质环境智能监管思路与方法[J].地质科技通报, 2020, 39(1):157-163. http://dzkjqb.cug.edu.cn/CN/abstract/abstract9936.shtml
    [31] Han J, Kamber M, Pei J.Data mining: Concepts and techniques[M].3rd edition.Burlington: Morgan Kaufmann, 2012.
    [32] Fayyad U M.Advances in knowledge discovery and data mining[M].Menlopark CA:AAAI/MIT Press, 1996.
    [33] 李德仁, 王树良, 李德毅.空间数据挖掘理论与应用[M].第2版.北京:科学出版社, 2013.
    [34] 吴冲龙, 刘刚.大数据与地质学的未来发展[J].地质通报, 2019, 38(7):1081-1088. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgqydz201907001
    [35] 周琦, 杜远生, 覃英.古天然气渗漏沉积型锰矿床成矿系统与成矿模式:以黔湘渝毗邻区南华纪"大塘坡式"锰矿为例[J].矿床地质, 2013, 32(3):457-466. http://www.cnki.com.cn/Article/CJFDTotal-KCDZ201303001.htm
    [36] 周琦, 杜远生, 袁良军, 等.古天然气渗漏沉积型锰矿床找矿模型:以黔湘渝毗邻区南华纪"大塘坡式"锰矿为例[J].地质学报, 2017, 91(10):2285-2298.
    [37] Gray J, Szalay A.E Science: A transformed scientific method, presentation to the computer science and technology board of the national research council, Mountain View, CA, 11 January 2007[EB/OL].
    [38] 陈建平, 李婧, 崔宁, 等.大数据背景下地质云的构建与应用[J].地质通报, 2015, 34(7):1260-1265. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgqydz201507002
    [39] 彭诗杰.基于微服务体系结构和面向多地质主题的数据云服务关键技术研究[D].武汉: 中国地质大学(武汉), 2017.
    [40] Balalaie A, Heydarnoori A, Jamshidi P.Microservices architecture enables DevOps:Migration to a cloud-native architecture[J].IEEE Software, 2016, 33(3):42-52. doi: 10.1109/MS.2016.64
    [41] Bohn R B, Messina J, Liu F, et al.NISTcloud computing reference architecture[C]//Anon.IEEE world congress on services.New York: IEEE Computer Society, 2011: 594-596.
  • 加载中
图(6) / 表(2)
计量
  • 文章访问数:  774
  • PDF下载量:  1887
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-11-18

目录

    /

    返回文章
    返回