地质大数据可视化关键技术探讨

专注地空领域
地质大数据中包含很多对地质现象和地质过程的定性理解、定量估算和关系描述,这些数据大部分是一种半结构化或不良结构化甚至非结构化的数据,通过数据可视化可以描述、表达和理解各种半结构化甚至非结构化数据的关系和内涵。

地质大数据可视化在地质科学研究过程中必不可少,且是地质成果表达最理想方式,更有利于成果宣传和推广应用!地质大数据可视化类型多,从应用角度可分为:表达三维可视化、分析三维可视化、过程三维可视化、设计三维可视化和决策三维可视化5类。地质大数据可视化关键技术有:地质体三维可视化动态精细建模技术、基于CUDA+GPU集群的地质体属性场数据并行可视化技术;针对地质大数据的可视化分析技术;基于地质大数据的虚拟现实和增强现实技术等。本文对这些关键技术的现状、技术路线以及实现效果进行了论述和展示。关键词:地质大数据;可视化;CUDA;GPU;地质体建模;虚拟现实;增强现实。

0引言

地球科学是数据密集型科学,地质科学是地球科学的一个重要分支。与地质科学相关的数据包括:基础地质、矿产地质、水文地质、工程地质、环境地质、灾害地质数据等。这些多源异构的数据主要通过地质测量、物探、化探、遥感、钻探以及分析测试等手段获取。同时,地质数据具有科学大数据的显著属性。地质数据描述的对象,均具有典型时空大数据的特征以及复杂的层次结构关系。地质数据本身也具有静态和动态、间歇性集中积累和连续性分散积累等特点。为了直观地观察、理解、组织和应用这些地质时空大数据,在实现地质时空大数据表达、存储管理与索引调度之后,需要对其进行可视化转换和表达,在此基础上实现地质大数据各种应用场景开发,比如基于大数据的城市地质环境智能监管旧、基于无模型的大数据挖掘发现矿床等。最近几年,国外一些学者对地质大数据中部分内容的可视化方法及技术进行了研究。2018年Wang等归基于地质本体完成从地质大数据中提取北美区域地质年代和生物信息,并实现信息集成与可视化。2015年Carl等从三维可视化的角度研究了体绘制和大数据对实现地质解释的优势。2016年Mueller等聞利用开源平台Cesium实现基于云平台的全球地球物理和其他一些地质大数据3DWeb交互可视化系统。2018年Gazcon等设计并开发了一个基于ARGeo框架的野外增强现实系统,以补充野外人员对周围环境的感知。这些研究工作都涉及到地质大数据可视化的一些内容,但没有全面分析和归纳地质大数据可视化的层次以及所涉及到的关键技术。大数据可视化技术发展趋势体现在大数据4V特点(体量大而完整、类型多且关联、聚集快却杂乱、价值大但稀疏)的方向上,每个方向上都有与之对应可视化方法研究。但地质大数据可视化技术难点更体现在面对“参数信息不完全、结构信息不完全、关系信息不完全和演化信息不完全”等难题的挑战,地质大数据可视化技术发展趋势将是高维度、高计算复杂性和高不确定性的可视化和计算。

1地质大数据可视化的研究内容

地质大数据中包含很多对地质现象和地质过程的定性理解、定量估算和关系描述,这些数据大部分是一种半结构化或不良结构化甚至非结构化的数据,通过数据可视化可以描述、表达和理解各种半结构化甚至非结构化数据的关系和内涵。地质科学比地理科学更加强调实现真三维可视化,即实现基于体元的地质体空间形态结构和内部属性成分的一体化表达。地质时空大数据的可视化,可以和“玻璃地球”建设思路结合起来。“玻璃地球”的关键技术,是地质体属性和地质体结构的三维动态可视化建模。从应用角度出发,可以将地质时空数据可视化分为表达三维可视化、分析三维可视化、过程三维可视化、设计三维可视化和决策三维可视化5类(图1)。“玻璃地球”是地质大数据的载体,完成5类可视化后进一步支持后续大数据挖掘以及智慧地矿。

2345截图20211028093243.png

图1地质大数据可视化的研究内容分类

目前,上述各种面向对象、面向过程、具有空间认知能力的可视化技术,已成为地质大数据领域研究的热点。这其中涉及到几个方面的关键技术:①地质体三维可视化动态精细建模技术;②具有海量空间数据的地质体模型与所嵌入属性数据的并行可视化技术;③在三维建模和各种可视化方法的基础上,进行进一步的可视化分析技术;④实现沉浸在地质大数据环境中的虚拟现实和增强现实技术。

2地质大数据可视化关键技术

2.1地质体三维可视化动态精细建模技术

在完成地质时空大数据的高效管理、调度之后,首当其冲就是完成地质体三维模型及属性模型的建模。自20世纪70年代以来,国内外专家学者在三维地质建模领域开展了大量研究工作。全息、精细、多尺度三维地质模型的动态建立是地质大数据时空透视的基础。所谓全息是指模型要能表达地质体内部的构造(兼顾大的断层和微裂缝)、地层、沉积相(要精确到亚相甚至是微相)、各类属性信息的体元表达(孔隙度、含水率、应力、土壤成分等属性)。所谓动态建模是指模型要能满足局部动态更新的需求,随着地矿勘查的数据增加,要能方便自动匹配和快速地更新多种三维地质模型(区域地质、矿集区、矿山、矿床、矿体等三维模型)。这里涉及2个关键问题,一个是全息、精细、多尺度模型的智能建模;另一个是已建模型局部动态快速更新。(1)地质知识与拓扑推理深度融合的三维地质体智能建模为了实现全息、精细、多尺度智能建模,需要采用基于知识驱动与拓扑推理相结合的三维并行建模方法,其技术路线如图2所示。之所以如此,是因为现有三维地质建模方法过度依赖几何定量数据,难以深度融合地质知识,未能有效地解决大范围、大规模复杂地质结构模型的快速构建,及其与构造、地层、沉积地质知识和属性内容的精细表达之间的矛盾问题。要解决这些问题,还需要在研究面向各种地质环境时空透视三维地质模型的高效属性-空间一体化三维、全息、并行、动态、精细建模方法的同时,通过对研究区域开展地质结构和构造分析,并查明研究区内同一地质时代的地层、岩性及岩相的空间分布状况,形成正确而完整的地质认识,并汇总专家知识、国家与行业标准等,在语义分析、编码与分类表达的基础上,构建专家知识库。然后,根据实际对象的特点和需要分别采用层面或体元模型,开展地质体属性-空间一体化的三维、全息、并行、动态、精细建模。

2345截图20211028093243.png

图2基于知识驱动与拓扑推理相结合的三

层面模型并行构建:结合地质知识和拓扑推理进行层面空间插值划分与相关数据范围确定,按各层面插值计算划分并行分配数据和插值计算任务给各CPU,由各个CPU并行完成各层面的拓扑推理与多条件约束空间插值计算,然后传回给主CPU,由主CPU完成合并层面模型,构建地层格架面模型和岩相(岩性或沉积相)面模型。体元模型并行构建:体元模型组织基于八叉树结构,将层控面模型转化为多尺度体元模型,并利用MPI技术将计算任务分配给多个计算节点执行,实现多尺度体元模型的并行化构建计算。采取“先剖分后合并”的思想,即先采用并行扫描剖分算法进行3个方向上的体元剖分,再根据体元映射准则将所有体元单元映射到八叉树结构中的相应位置,并根据体元合并准则“由下而上”递归合并所有子节点直至根节点,最终形成八叉树结构的多尺度体元模型,并完成体元并行构建计算。最后通过多点地质统计学随机模拟完成属性建模,将模拟结果映射到体元模型网格,完成全息、精细地质体模型的构建(图3)。

2345截图20211028093243.png

图3全息、精细、多尺度三维地质体建模

(2)三维地质模型的局部动态重构方法

三维地质模型总是随着勘探阶段递进和地质数据的积累而不断更新。由于大规模三维地质模型的整体更新和重构,需要花费巨大的工作量和代价,亟待研究局部更新或局部重构的方法原理和技术。一个可行的办法是根据不同的建模方法对复杂三维空间对象的表达和更新效率差异,采用基于混合体元模型——IHG-TIN(不规则六面体网格与三角网),进行属性—空间一体化的三维地质体复合建模,然后采用改进的Octree树和BSP树进行更新区域求解,实现局部多尺度耦合与替换的快速动态更新。其技术路线如图4所示。

2345截图20211028093243.png

图4三维地质体模型局部动态更新

首先,通过知识推理建模、自动建模和不规则六面体体元剖分和地质体属性结合建模,完成地质体整体范围内IHG-TIN混合体元模型的构建。若局部有新的钻孔或其他勘探数据需要更新地质体模型时,只需按上述步骤构建局部同尺度的IHG-TIN模型,利用新的体元局部替换原模型相同位置的体元块,再重新从体元模型中提取新的地层面模型和构造面模型,完成层面模型的拓扑和地质属性的更新,从而实现快速局部动态更新。本方法不同于从面模型到体模型的常规地质体更新方法,而是反过来,在体元模型融合后再提取更新面模型,充分发挥IHG-TIN模型的优势,克服从面到体的更新方法中新面模型的拓扑关系和属性更新困难,避免面模型和体模型的推倒重建,提高建模效率和精度。利用后期勘探数据(钻孔、地质剖面)与前期三维地质体属性-空间一体化模型实现模型的动态重构之后,将确保三维地质体模型仍具有空间拓扑一致性、复杂地质对象实体连续性、三维模型空间完整性,为后续的各类分析、评价、决策提供模型和数据支撑。

2.2基于CUDA+GPU集群的地质体属性场数据并行可视化技术

需要进行可视化的地质大数据除了包含大规模的地质体结构几何模型,还包含海量的属性数据场,有标量场、矢量场,还有张量场等。在国内外的可视化领域研究中,针对多种属性数据场耦合可视化的研究迄今仍不多见。Yuan等在描述强化体绘制效果的同时,介绍了体数据与半透明几何面的融合绘制方法;华岗采用不透明体与不透明几何的传统融合绘制方式,在地震体数据可视化中完成了地震体数据和层位网格数据的融合绘制。针对多变量数据基于颜色层次混合可能造成结果混淆问题,丁冶宇提出一种基于多类蓝噪声采样的多变量体可视化方法,可使最终绘制图像的每个像素只对应一个变量的渲染结果,避免了多种变量在同一像素空间的混合干扰。近些年,针对较大规模数据并行可视化的研究也在国内相继出现。孔明明基于GPU机群开展了并行体绘制算法研究,他们使用16个结点上的GPU硬件,可以处理美国数字化图像库的VisibleHuman数据集,针对30亿网格单元数量的并行体绘制速度达到2秒/帧,总数据量达3.15GB。湖南大学研制的GPU硬件加速体绘制算法,可以处理8亿网格规模的三维地震数据,单时刻数据量为13GB。针对大规模数据场的优化绘制研究方面,江鹏、国栋等研究了基于VQ、变换编码等快速解压缩的体绘制算法。冀俊峰等、罗月童等研究了多分辨率加速体绘制。蔡勋等、王篆等、殷萍采用out-of-core技术加速等值面绘制。并行可视化一般涉及5个过程:数据剖分、数据分配、绘制、图像合成和显示。其中,数据场的区域分解结果直接决定了并行可视化数据剖分及数据分配方式。虽然可视化可以针对原有数值模拟数据集进行预处理重新剖分,但是针对大规模的地质过程数值模拟数据集,可以配合地质大数据索引机制来分配。在使用GPU实现通用并行计算时,其计算模式存在一些限制。首先,GPU设计的初衷是为了加速应用程序中的图形渲染,因而开发者需要通过图形处理API,如OpenGL、DirectX等来操作GPU,并且需要设法将通用计算问题转变为图形问题。其次,与CPU相比较,GPU更注重数据级并行计算,也就是在不同的数据上并行执行相同的计算,但对并行计算中的互斥、同步、原子操作等方面缺乏支持,因而限制了GPU在通用并行计算中的应用范围。CUDA架构解决了上述问题。它为GPU计算设计了一种全新的结构,减轻了GPU计算模型中的限制。以CUDA-C为例,作为对标准C的一种简单扩展,易于学习和使用,且不需要开发人员具备计算机图形学知识。CUDA-C编程允许程序执行在异构系统上,异步地操作CPU和GPU,有各自的存储空间,并由PCI-Express总线分开。一个基于CUDA+GPU集群的地质体属性场数据并行可视化技术系统,包含主机与设备两部分。主机是在CPU上串行执行的部分,设备是在GPU上并行执行的部分,设备代码又称为核函数。根据地质体大数据特点和计算量和大数据索引,对可视化计算任务进行划分,分别交给设备和主机处理。设备上实现索引分块后的地质体数据场的渲染绘制,主机上采用并行图像合成算法对渲染图像进行合成,输出结果。

2.3地质大数据的可视化分析技术

地学三维可视化分析,是指在地质大数据存储、索引和调度以及三维建模和各种可视化技术的基础上,对已建立的三维地质模型和属性数据场进行的各种决策分析,并且在三维环境里实现分析过程和分析结果的可视化。地质体三维可视化决策分析功能,包括常规空间分析(空间量算分析、空间插值拟合、空间几何关系分析、统计分析、地形分析、智能计算分析等)和地质空间分析(地质统计分析、矢量剪切分析、成矿特征提取分析、地质构造分析、应力应变分析、地质过程模拟仿真等)(图5)。目前,亟待进一步开展以下几个方面的研究:针对地质时空大数据的维度、结构、呈现等特征,需要研究这些分析方法在时间、空间等维度的扩展;需要研究大数据环境下时空分析算法的并行化和外存化;同时设计开发地质时空分析组件(包括常规空间分析和地质空间分析的系列时空分析组件),为大数据环境下地质时空数据的同化融合、数据挖掘与玻璃国土、矿产预测评价等综合应用系统提供底层算法与组件支持,提供高可用性的分析工具(图6)。

2345截图20211028093243.png

图5地质分析工具

2345截图20211028093243.png

图6地质大数据的可视化分析技术

2.4地质大数据虚拟现实和增强现实技术

在传统三维地质建模的基础上,引入虚拟现实(virtualreality)技术和增强现实(augmentedreality)技术,可利用更多的交互手段提高地质数据的表达能力,使用户更自然地沉浸在数据环境中,可以从不同的角度查看数据,便于从数据中发现新的内容和信息。其中,VR提供了动态处理数据的能力,使数据更容易理解和操纵,甚而使用户在其中得到一种沉浸式交互的触觉体验。该项技术已经在地学领域得到了有效的应用,如交互式地形可视化技术在2010年海地地震中的应用,通过实际场景的虚拟研究和大规模地形数据集的实时交互分析,实现快速应急响应和科学决策。2018年郭艳军等通过典型的沉浸式VR系统实现多尺度地质数据3D沉浸式可视化。目前,可基于Unity3D虚拟现实开发引擎构建地质大数据VR或AR可视化系统,实现实时获取数据内容、自由搭建3D虚拟场景、集成3D沉浸式显示系统和光学追踪交互系统,实时与虚拟场景互动操作,并能支持各种平台的发布,包括Windows.Mac、Wii、iPhone、WebGL(需要HTML5)、Win-dowsphone8和Android平台。基于Unity3D的手机端地质体VR可视化系统实现流程如下(图7)。通过专业三维地质建模软件(比如QuantyView)完成三维地质体模型的创建,将三维地质体模型导入到Unity3D中,再通过Unity3D实现基于安卓操作系统或苹果操作系统的手机端的发布,可以开发出基于手机端的VR可视化展示系统(图8)。

2345截图20211028093243.png

图7VR系统实现流程图

2345截图20211028093243.png

图8基于手机的地质体模型VR可视化

还可以将Unity3D与增强现实插件Vuforia结合,开发基于真实视频或真实图像场景的AR增强现实系统,比如野外地质调查增强现实系统等。增强现实插件Vuforia的图像识别功能允许应用程序基于野外真实视频或图像去查找设备本地和云端的数据库,用手机将野外地质调查与网络数据库连接,快速丰富野外地质调查内容的信息。

3结语

完成地质科学大数据的存储、索引、管理、调度之后,就需对其进行各种可视化表达、可视化分析。地质时空大数据可视化从应用角度可分为表达三维可视化、分析三维可视化、过程三维可视化、设计三维可视化和决策三维可视化5类。笔者从地质时空大数据可视化涉及到的几方面关键技术进行了深入探讨,包括:①地质体三维可视化动态精细建模技术;②基于CUDA+GPU集群的地质体属性场数据并行可视化技术;③针对地质大数据的可视化分析技术;④基于地质大数据的虚拟现实和增强现实技术(包括PC版、移动版VR和AR系统)等。

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论