1.一种基于边缘计算的无人机多维感知智能巡检预警系统,其特征在于,所述系统包括:多维感知数据采集装置、移动式边缘计算服务器、智能计算监控与决策支持平台以及数据中心;所述多维感知数据采集装置搭载于无人机平台上,用于采集多维感知数据,并将所述多维感知数据发送至所述移动式边缘计算服务器和所述数据中心;所述多维感知数据包括场景图像、场景音频以及雷达数据;所述移动式边缘计算服务器搭载于无人机平台上,用于根据接收的多维感知数据采用训练后的多维感知智能巡检与预警模型进行处理,生成被巡检范围的预警信息,并将所述预警信息发送至智能计算监控与决策支持平台;所述预警信息包括非法活动、火灾和爆炸、危险品泄露;所述智能计算监控与决策支持平台部署于地面,用于将接收到的预警信息反馈给操作员,并将接收到的预警信息发送至数据中心;所述数据中心,用于接收并存储所述预警信息、所述多维感知数据以及系统运行的历史记录;还用于对所述多维感知数据进行融合和分析处理;还用于实现数据跨平台分享,使数据在云、边、端之间共享和交换数据;其中,所述移动式边缘计算服务器采用RISC-V边缘计算芯片,所述RISC-V边缘计算的芯片与多维感知数据采集装置采用一体化结构;所述系统还包括智能算法平台,所述智能算法平台与所述移动式边缘计算服务器连接;所述智能算法平台,用于从移动式边缘计算服务器获取多维感知数据以及对应的预警信息,将多维感知数据和对应预警信息作为训练数据组;采用训练数据组对所述多维感知智能巡检与预警模型进行在线微调,得到微调后的多维感知智能巡检与预警模型;其中微调过程中采用增量学习的方法,在每次接收到新数据时进行微调,而不是重新训练整个模型;智能算法平台,还用于通过联邦学习Federated Learning与其他类似设备或系统进行协同训练,各个终端在本地进行训练并共享更新的参数。
2.根据权利要求1所述的基于边缘计算的无人机多维感知智能巡检预警系统,其特征在于,所述多维感知数据采集装置包括可见光/红外图像采集模块、音频采集模块以及雷达采集模块;所述可见光/红外图像采集模块配置了装载于旋转云台上的可见光/红外高清相机,并通过无人机平台在被巡检范围内捕捉高清晰度的场景图像;所述音频采集模块装配于无人机平台上,用于在无人机进行巡检任务时采集周围环境的场景音频;所述雷达采集模块包括X波段雷达、毫米波雷达以及相控阵雷达的一种或者多种,用于获取目标物体的精确空间位置与移动数据。
3.根据权利要求1所述的基于边缘计算的无人机多维感知智能巡检预警系统,其特征在于,所述智能计算监控与决策支持平台是一种集成多模态数据分析、实时监测、异常检测、预测性分析与自动决策支持的智能化平台;所述智能计算监控与决策支持平台包括:数据采集层、数据处理与计算层、决策支持层以及用户交互与反馈层;所述数据采集层,用于对图像、音频、雷达数据的整合,同时通过PTP或NTP协议进行时间同步,实现数据时间和空间上的精准对齐;所述数据处理与计算层,用于对原始采集数据进行数据格式的统一转换,对原始采集数据进行去噪、去干扰处理;还用于融合深度学习大模型,对图像中的裂缝、障碍物进行目标识别,并对特殊音频和干扰音频进行识别,对环境及设备的变化趋势进行预测;所述决策支持层则,用于分析结果,为用户提供优化建议、实时预警和任务规划支持;还用于结合多模态数据分析结果,实时调整无人机或设备的任务路径,在设备异常时自动指令系统降速或停止运行;所述用户交互与反馈层,用于实时获取信息、操作设备,并向系统反馈任务需求,通过建立可视化界面,动态显示多模态数据。
4.一种基于边缘计算的无人机多维感知智能巡检预警方法,其特征在于,所述方法包括:无人机平台通过搭载的多维感知数据采集装置采集被巡检区域的多维感知数据;所述多维感知数据包括场景图像、场景音频以及雷达数据;所述多维感知数据采集装置将所述多维感知数据通过无线网络传输到移动式边缘计算服务器;所述移动式边缘计算服务器采用RISC-V边缘计算芯片,所述RISC-V边缘计算的芯片与多维感知数据采集装置采用一体化结构;在移动式边缘计算服务器中对所述多维感知数据进行融合,将融合结果输入到训练后的多维感知智能巡检与预警模型进行处理,生成被巡检范围的预警信息,并将所述预警信息通过无线网络传输到智能计算监控与决策支持平台;所述预警信息包括非法活动、火灾和爆炸、危险品泄露;将所述智能计算监控与决策支持平台部署于地面,接收预警信息,并将所述预警信息反馈给操作员、发送至数据中心;数据中心接收并存储所述预警信息、所述多维感知数据以及系统运行的历史记录,在数据中心中对所述多维感知数据进行融合和分析处理;通过数据中心实现数据跨平台分享,使数据在云、边、端之间共享和交换数据;完成巡检任务后,移动式边缘计算服务器保存感知数据和预警信息,通过反馈机制不断学习和优化多维感知智能巡检与预警模型;所述方法还包括:智能算法平台从移动式边缘计算服务器获取多维感知数据以及对应的预警信息,将多维感知数据和对应预警信息作为训练数据组;采用训练数据组对所述多维感知智能巡检与预警模型进行在线微调,得到微调后的多维感知智能巡检与预警模型;其中微调过程中采用增量学习的方法,在每次接收到新数据时进行微调,而不是重新训练整个模型;智能算法平台通过联邦学习Federated Learning与其他类似设备或系统进行协同训练,各个终端在本地进行训练并共享更新的参数。
5.根据权利要求4所述的基于边缘计算的无人机多维感知智能巡检预警方法,其特征在于,所述方法还包括:通过所述智能计算监控与决策支持平台将所述预警信息发送给数据中心。
6.根据权利要求4所述的基于边缘计算的无人机多维感知智能巡检预警方法,其特征在于,所述多维感知数据采集装置包括可见光/红外图像采集模块、音频采集模块以及雷达采集模块;所述可见光/红外图像采集模块配置了装载于旋转云台上的可见光/红外高清相机,并通过无人机平台在被巡检范围内捕捉高清晰度的场景图像;所述音频采集模块装配于无人机平台上,用于在无人机进行巡检任务时采集周围环境的场景音频;所述雷达采集模块包括X波段雷达、毫米波雷达以及相控阵雷达的一种或者多种,用于获取目标物体的精确空间位置与移动数据。