有效
一种煤矿机器人群数字孪生智能管控建模系统与方法
李猛钢、周公博、唐超权、胡而已、周坪
中国矿业大学
李
李猛钢机构 暂无
技术领域 暂无
周
周公博机构 暂无
技术领域 暂无
唐
唐超权机构 暂无
技术领域 暂无
胡
胡而已机构 暂无
技术领域 暂无
周
周坪机构 暂无
技术领域 暂无
摘要
本发明公开了一种煤矿机器人群数字孪生智能管控建模系统与方法,所述孪生建模系统包括机器人端定位建模与计算装置、固定式场景更新与边缘计算装置、巷道无线通讯定位V2X装置、煤矿机器人群数字孪生智能管控平台和路标装置。本发明可以实现井下各类机器人复杂场景的实时环境建模与场景重构、基于全局大地坐标的精确定位以及群机器人协作场景更新能力。
1.一种煤矿机器人群数字孪生智能管控建模系统,其特征在于,所述孪生建模系统包括机器人端定位建模与计算装置、固定式场景更新与边缘计算装置、巷道无线通讯定位V2X装置、煤矿机器人群数字孪生智能管控平台和路标装置;所述机器人端定位建模与计算装置搭载于井下各类移动机器人上,基于多传感器融合SLAM方法,实时构建机器人周围场景的栅格、特征和语义多尺度地图;所述固定式场景更新与边缘计算装置朝向巷道工作面场景区域进行循环往复式扫描,对动态场景进行更新,并且基于多传感器融合SLAM方法,实时构建机器人周围场景的栅格、特征和语义多尺度地图;所述巷道无线通讯定位V2X装置用于分别建立机器人端定位建模与计算装置、固定式场景更新与边缘计算装置与煤矿机器人群数字孪生智能管控平台之间的通讯链路;所述路标装置包括分布设置在井下的巷道自然路标和人工路标,用于作为机器人端定位建模与计算装置、固定式场景更新与边缘计算装置的识别标识和定位标识;所述煤矿机器人群数字孪生智能管控平台包括井下GIM数据库、场景模型数据库、孪生数据库、机器人群智能管控系统;所述GIM数据库中存储有由GIS+BIM构建的地质模型、巷道模型和设备模型,地质模型、巷道模型和设备模型均包含有相应的地理坐标信息和参数数据;所述场景模型数据库中存储有由机器人端定位建模与计算装置、固定式场景更新与边缘计算装置执行多模态信息融合SLAM而产生并上传的栅格、特征、语义多尺度地图数据,用于对工作场景的巷道模型、设备模型进行动态重建与实时更新;所述孪生数据库中存储有包括井下所有机电装备与设备上传的状态监测与控制数据在内的构建孪生数据体系的要素,至少包含:各类煤矿移动机器人以及井下固定装备与设备的运行参数、运动状态、故障报警信息、控制参数和历史数据;包括人员定位信息、井下监测网络在内的安全与生产业务相关数据;所述机器人群智能管控系统统一接收和管理井下GIM数据库、场景模型数据库、孪生数据库的混合模型数据及状态参数数据,利用孪生建模方法生成GIM+SLAM矿井地质场景图,对孪生要素进行集成;再对机器人群的运行状态分析、运行状态仿真、规划决策功能进行封装,将产生的智能应用决策和控制指令发送给各机器人进行执行;所述机器人群智能管控系统利用井下GIM数据库中的GIM先验模型构建未开采区域的地质模型,利用场景模型数据库中构建的机器人工作区域内巷道、设备、机器人工况场景的混合模型,基于地理坐标信息进行匹配融合,获得井下未开采区域和机器人工作区域匹配的地质场景图,实现GIM虚拟模型+SLAM动态模型实时匹配与融合的孪生建模;再对孪生建模结果和孪生数据库的数据要素进行集成归档,构建全系统全要素实时更新的机理模型,进行物理空间机器人群、井下设备及其运行环境的各层级属性、组成关系和运行机理进行系统化建模,提供几何、物理、行为和规则信息的描述和供调用的模型数据和接口。
2.根据权利要求1所述的煤矿机器人群数字孪生智能管控建模系统,其特征在于,所述机器人端定位建模与计算装置包括环境建模传感器单元、计算设备单元、无线通讯定位移动节点单元;所述环境建模传感器单元,包括激光雷达、调频连续波雷达、深度红外相机与可见光相机,用于采集机器人周围场景的包括实时的点云数据、红外深度图像数据和彩色图像数据在内的的多传感器数据;所述计算设备单元用于处理环境建模传感器单元发送的多传感器数据,运行基于环境建模传感器单元的多传感器融合SLAM方法,实时构建机器人周围场景的栅格、特征、语义多尺度地图;所述无线通讯定位移动节点单元包含通讯模块和定位模块;通讯模块采用5G无线网络通讯节点,利用无线通讯方式与井下已有的无线通讯基站进行通讯,与煤矿机器人群数字孪生智能管控平台进行信息交换;所述定位模块采用超宽带移动节点与巷道内部署的UWB基站进行通讯,利用无线传感器网络进行移动节点的定位。
3.根据权利要求1所述的煤矿机器人群数字孪生智能管控建模系统,其特征在于,所述固定式场景更新与边缘计算装置包括固定扫描式建模单元、边缘计算单元、井下环网接入单元和位置标签;所述固定扫描式建模单元用于对巷道工作面场景区域进行循环往复式扫描,对巷道工作面场景区域的传感数据进行动态采集;所述边缘计算单元用于处理环境建模传感器单元发送的巷道工作面场景区域的传感数据,运行基于场景实时重建传感器的多传感器融合SLAM方法,实时构建机器人周围场景的栅格、特征、语义多尺度地图;所述井下环网接入单元包含分站交换机与供电装置;所述分站交换机利用光纤介质的网络通信方式实现边缘计算单元的信息接入井下已有的有线环网,通过井下骨干环网和核心交换机与煤矿机器人群数字孪生智能管控平台进行信息交换;所述供电装置将井下交流电转换为直流电,利用电缆为固定式场景更新与边缘计算装置供电;所述位置标签采用具有指定标识符的人工标志,利用全站仪测量的导线点传导方式获得绝对位置坐标。
4.根据权利要求3所述的煤矿机器人群数字孪生智能管控建模系统,其特征在于,所述固定扫描式建模单元包含场景实时重建传感器、伺服电机及控制器、传感器安装架;场景实时重建传感器采用激光雷达、可见光相机,安装于传感器安装架上,伺服电机驱动传感器安装架朝向巷道工作面场景区域进行循环往复式扫描,使场景实时重建传感器对巷道工作面场景区域的传感数据进行动态采集。
5.根据权利要求3所述的煤矿机器人群数字孪生智能管控建模系统,其特征在于,采用激光LiDARTag和视觉AprilTag为原型设计满足防爆要求的人工标志。
6.根据权利要求1所述的煤矿机器人群数字孪生智能管控建模系统,其特征在于,所述巷道无线通讯定位V2X装置包括V2X路侧通讯定位基站和井下环网接入单元;所述V2X路侧通讯定位基站包括通讯天线模块、通讯处理模块、定位天线模块、定位处理模块、电源管理模块;所述通讯天线模块与通讯处理模块连接,所述定位天线模块与定位处理模块连接,分别与电源管理模块连接实现供电;所述V2X路侧通讯定位基站用于与机器人端定位建模与计算装置的无线通讯定位移动节点单元的通讯模块进行信息交换,利用无线传输方式将机器人端数据传输到井下环网接入单元,利用井下有线环网传输到煤矿机器人群数字孪生智能管控平台;所述V2X路侧通讯定位基站与机器人端定位建模与计算装置的无线通讯定位移动节点单元的定位模块进行信息交换,获得机器人的绝对定位信息。
7.根据权利要求1所述的煤矿机器人群数字孪生智能管控建模系统,其特征在于,所述地质模型包含未开采区域的控制煤层与地质构造变化的相关三维形态数据,以及利用不规则三角网、模拟右三棱柱体技术生成的三维模型,所述未开采区域的控制煤层与地质构造变化的相关三维形态数据包括体现煤层顶底板数据、煤层厚度、走向特征的地质构造数据;所述巷道模型包含用于控制断面几何形态和空间位置的巷道初期建设过程中设计的巷道相关几何参数,以及利用空间拓扑三角化成形生成巷道的三维模型;所述设备模型包括井下全部机电装备要素,至少包括巷道中布置的采、掘、机、运、通相关装备与设备的三维模型。
8.根据权利要求1所述的煤矿机器人群数字孪生智能管控建模系统,其特征在于,所述运行参数包括液压系统的功率、压力、流量、温度、液压缸行程、倾角,电气系统的电压、电流、功率、温度;所述运行状态包括位置、绝对坐标、相对坐标、方向、俯仰角、横滚角、航向角、油门、刹车、转向、转速、扭矩、速度、加速度、角速度、气体类型、气体浓度、风速、风向、障碍物类型、障碍物大小、障碍物距离、振动、声波、光谱;所述控制参数包括油门、刹车、转向、转速、扭矩、电压、电流、压力、流量、功率;所述故障报警信息包括调试信息、日志信息、警告信息、错误信息、严重错误信息;所述历史数据包含设定时间段内历史运行参数、运动状态、故障报警信息、控制参数数据。
9.根据权利要求1所述的煤矿机器人群数字孪生智能管控建模系统,其特征在于,所述巷道自然路标是具有空间拓扑位置不变性的井下自然特征、机电设备对应的标识特征,包含GIM数据库中存储的井下风门、盘区岔口、通风管路、供变电设备对应的地理坐标信息,用于被所述机器人端定位建模与计算装置识别;所述人工路标是具有指定标识符的人工标志,包含利用全站仪测量的导线点传导方式获得绝对位置坐标;所述人工路标包括激光雷达反射标靶、调频连续波雷达反射标靶、视觉标靶和超宽带测距锚节点。
10.一种煤矿机器人群数字孪生智能管控建模方法,其特征在于,所述建模方法基于权利要求1-9任一项中所述的建模系统运行;所述建模方法包括以下步骤:步骤1,GIM初始模型构建:基于GIS+BIM技术构建地质模型、巷道模型、设备模型,将构建得到的地质模型、巷道模型、设备模型存储于煤矿机器人群数字孪生智能管控平台的GIM数据库中;步骤2,基于GIM三维地质模型的自然语义路标构建:提取并构建井下风门、巷道交汇处岔口、水泵房、通风管道、固定设备模型对应的自然路标,利用GIS获得自然语义路标的地理坐标;步骤3,人工路标部署:筛选出场景和传感器性能退化的区域,将人工路标部署到筛选出的区域,基于井下导线点位置利用全站仪测量获得人工路标的地理坐标,将人工路标对应的区域和地理坐标均存储到机器人端定位建模与计算装置与矿机器人群数字孪生智能管控平台的场景模型数据库;步骤4,多模态信息融合SLAM:在机器人端定位建模与计算装置、固定式场景更新与边缘计算装置上,综合多传感器融合SLAM与自然语义路标、人工路标的多模态约束因子,基于增量式因子图优化方法,执行SLAM过程与地理坐标自动对齐,得到具有地理坐标的全局一致的无重影地图构建与绝对定位;步骤5,基于测度-特征-语义三维混合模型的数字化实时建模与动态更新:利用多模态信息融合SLAM获得的建模数据,构建基于点云与图像的三维高程及栅格测度地图、特征地图,基于先验知识提取环境的语义信息,结合深度学习构建高层次语义地图;步骤6:SLAM混合模型的压缩存储与实时回传:将测度-特征-语义三维混合模型进行压缩,利用机器人端定位建模与计算装置的无线通讯定位移动节点单元、固定式场景更新与边缘计算装置的井下环网接入单元与巷道无线通讯定位V2X装置进行通讯,将压缩的模型传输到机器人群智能管控系统并存储至场景模型数据库中;步骤7:虚实耦合的孪生建模:利用煤矿机器人群数字孪生智能管控平台的GIM数据库中的GIM先验模型构建未开采区域的地质模型,利用场景模型数据库中构建的机器人工作区域内巷道、设备、机器人工况场景的混合模型,基于地理坐标信息进行匹配融合,获得井下未开采区域和机器人工作区域匹配的地质场景图,实现GIM虚拟模型+SLAM动态模型实时匹配与融合的孪生建模;步骤8:孪生要素集成与系统化建模:在机器人群智能管控系统中对孪生建模结果和孪生数据库的数据要素进行集成归档,构建全系统全要素实时更新的机理模型,进行物理空间机器人群、井下设备及其运行环境的各层级属性、组成关系和运行机理进行系统化建模,提供几何、物理、行为和规则信息的描述和供调用的模型数据和接口。



