有效
基于分布式云计算的城市三维地质智能建模方法及系统
魏志云、徐震、袁建平、郑波、王国光、杨帆、张家尹、孙源、施金承
浙江华东工程数字技术有限公司
魏
魏志云机构 暂无
技术领域 暂无
徐
徐震机构 暂无
技术领域 暂无
袁
袁建平机构 暂无
技术领域 暂无
郑
郑波机构 暂无
技术领域 暂无
王
王国光机构 暂无
技术领域 暂无
杨
杨帆机构 暂无
技术领域 暂无
张
张家尹机构 暂无
技术领域 暂无
孙
孙源机构 暂无
技术领域 暂无
施
施金承机构 暂无
技术领域 暂无
摘要
本发明提供一种基于分布式云计算的城市三维地质智能建模方法及系统,该系统包括用于数据交互的web端、用于数据处理建模的服务器端,服务器端进行数据处理建模的步骤包括,接收web端传输的地质数据并确定待建模的城市大区域范围;通过横纵交错的交通轴线将大区域范围动态划分为若干小区域;并提取交通轴线的交点及轴线上的节点作为拓扑节点,拓扑节点依次相连作为拓扑边界构建城市子区域;基于已获取的城市子区域分界线附近的钻孔数据生成各子区域分界线上的地质剖面;构建分布式处理框架hadoop2.0集群,集群中每个计算节点解析子区域钻孔数据和地质剖面进行地层建模,并将建模结果通过接口返回至web端进行渲染展示;本发明提升了建模效率。
1.一种基于分布式云计算的城市三维地质智能建模方法,该方法基于分布式云计算的城市三维地质智能建模系统执行,该系统包括用于数据交互的web端、用于数据处理建模的服务器端,其特征在于,所述服务器端进行数据处理建模的步骤包括,接收web端传输的地质勘测数据并绘制钻孔模型,根据钻孔模型空间位置,确定待建模的城市大区域范围;通过横纵交错的交通轴线将大区域范围动态划分为若干小区域;并提取横纵交错的交通轴线的交点及轴线上的节点作为拓扑节点,拓扑节点依次相连作为拓扑边界,拓扑边界封闭而成的多边形范围定义为城市子区域;基于已获取的城市子区域分界线附近的钻孔数据,调用智能连线算法,连接钻孔上揭露相同地层的位置点,形成连续地质线,地质线赋予地质属性,从而自动生成各子区域分界线上的地质剖面;从各种地层结构中抽象出地层连续分布、地层透镜体、地层间断缺失和地层尖灭四种地层空间分布类型,并分别通过不同的连线规则进行连接处理,所述智能连线算法通过连接钻孔上揭露相同地层的位置点,生成B样条曲线;再根据地层尖灭条件,将有相交的曲线打断,生成二维地质剖面线;最后通过二维到三维空间的映射,形成三维地质剖面线,完成地质剖面在三维空间的构建;通过2台及以上服务器构建分布式处理框架hadoop2.0集群,集群组件包括HDFS分布式文件系统、YARN资源管理框架和MapReduce分布式计算框架;将不同建模区域及区域内的钻孔数据、地质剖面数据提交至分布式处理集群,集群中每个计算节点解析子区域钻孔数据和地质剖面数据自动进行地层建模,每个计算节点的建模均结束后,将城市大区域建模结果通过接口返回至web端进行渲染展示;其中,MapReduce分布式计算框架负责资源管理、任务调度和MapReduce算法实现,所述MapReduce算法实现包括Map任务程序实现和Reduce任务程序实现;基于城市的子区域划分结果,Map任务程序执行子区域的三维地质建模过程;所有执行Map任务程序的节点采用相同的建模方法同步完成其他城市子区域的地质三维模型构建;Reduce任务程序执行规约操作,将得到的所有城市子区域地质三维模型依次拼合,使共边的地质曲面拼合成一个地质曲面,使共面的地质实体拼合成一个地质实体,保持拼合后的地质曲面和地质实体的地质属性不变,得到完整的城市大区域地质三维模型。
2.根据权利要求1所述的基于分布式云计算的城市三维地质智能建模方法,其特征在于,所述接收web端传输的地质勘测数据并绘制钻孔模型,根据钻孔模型空间位置,确定待建模的城市大区域范围包括,接收web端传输的地质勘测数据,所述地质勘测数据为钻孔数据,钻孔数据经过地层标准化和钻孔格式化,形成原始建模钻孔集合;根据所述原始建模钻孔集合绘制符合真实地理位置的钻孔模型;根据钻孔模型空间位置,确定待建模的城市大区域范围,大区域范围通过自封闭的多段线表示。
3.根据权利要求2所述的基于分布式云计算的城市三维地质智能建模方法,其特征在于,所述根据钻孔模型空间位置,确定待建模的城市大区域范围包括,提取原始建模钻孔集合中所有有效钻孔的平面坐标数据,构建离散点集P={p1,p2,...,pn};采用Graham扫描凸包算法对离散点集进行包络分析,生成最小凸多边形边界;将最小凸多边形边界向外扩1倍平均钻孔间距后的多边形作为建模基准边界,待建模的城市大区域范围。
4.根据权利要求1所述的基于分布式云计算的城市三维地质智能建模方法,其特征在于,所述HDFS分布式文件系统将集群中存储空间进行连接构成统一的分布式存储空间;算子服务存储在HDFS上,远程提交调用算子服务;待处理的参数预处理完成后存储在HDFS上并指定具体位置,以供算子服务获取对应的参数;HDFS上预设定结果文件,用于存储建模后的结果文件;YARN作为资源管理框架,在大型分布式系统处理数据时管理集群资源,并将计算任务分配到对应资源上执行;组件包括资源管理器ResourceManager、节点管理器NodeManager以及应用管理器ApplicationMaster。
5.根据权利要求4所述的基于分布式云计算的城市三维地质智能建模方法,其特征在于,所述构建分布式处理框架hadoop2.0集群,将不同建模区域及区域内的钻孔数据、地质剖面数据提交至分布式处理集群,集群中每个计算节点解析子区域钻孔数据和地质剖面数据进行地层建模包括,用户向资源管理框架YARN中提交应用程序,其中包括ApplicationMaster程序、启动ApplicationMaster的命令、Map任务程序以及Reduce任务程序;ResourceManager为该应用程序分配第一个Container,并与对应的NodeManager通信,要求在对应Container中启动应用程序的ApplicationMaster;ApplicationMaster首先向ResourceManager注册,通过ResourceManager查看应用程序的运行状态,ApplicationMaster将为各个任务申请资源,并监控它的运行状态,直到运行结束;ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源;ApplicationMaster申请到资源后与对应的NodeManager通信,要求其启动任务;NodeManager自动为任务设置好运行环境后,将任务启动命令写到一个脚本中,并通过运行该脚本启动任务;各个任务通过某个RPC协议向ApplicationMaster汇报任务状态和进度,以使ApplicationMaster随时掌握各个任务的运行状态,从而在任务失败时重新启动任务;Map任务的优先级高于reduce任务,当所有的map任务结束后进行reduce任务;应用程序运行完成后,ApplicationMaster向ResourceManager注销并关闭自己,当所有应用程序执行完成后,最终输出完整的城市大区域三维地质模型。
6.一种基于分布式云计算的城市三维地质智能建模系统,用于实现如权利要求1-5任一项所述的方法,其特征在于,包括,Web端,用于提供用户交互界面,获取用户输入数据,数据包括地质勘测数据;服务器端,用于接收web端传输的数据和交互请求并建立城市三维地质模型,包括,城市大区域范围建立模块,用于接收地质勘测数据并绘制钻孔模型,根据钻孔模型空间位置,确定待建模的城市大区域范围;城市子区域划分模块,用于通过横纵交错的交通轴线将大区域范围动态划分为若干小区域;并提取横纵交错的交通轴线的交点及轴线上的节点作为拓扑节点,拓扑节点依次相连作为拓扑边界,拓扑边界封闭而成的多边形范围定义为城市子区域;子区域分界线地质剖面生成模块,用于基于已获取的城市子区域分界线附近的钻孔数据,调用智能连线算法,连接钻孔上揭露相同地层的位置点,形成连续地质线,地质线赋予地质属性,从而自动生成各子区域分界线上的地质剖面;分布式建模模块,用于构建分布式处理框架hadoop2.0集群,将不同建模区域及区域内的钻孔数据、地质剖面数据提交至分布式处理集群,集群中每个计算节点解析子区域钻孔数据和地质剖面数据自动进行地层建模,每个计算节点的建模均结束后,将城市大区域建模结果通过接口返回至web端进行渲染展示。



