有效
点云数据的融合方法、装置、电子设备及存储介质
李经纬、王哲
上海商汤智能科技有限公司
李
李经纬机构 暂无
技术领域 暂无
王
王哲机构 暂无
技术领域 暂无
摘要
本公开提供了一种点云数据的融合方法、装置、电子设备及存储介质,该方法包括:获取设置在目标车辆上的主雷达和副雷达分别采集得到的点云数据;主雷达为目标车辆上的雷达中的一个,副雷达为目标车辆上的雷达中除主雷达以外的雷达;基于预先确定的副雷达的反射率标定表,对副雷达采集的点云数据中的反射率进行调整,得到副雷达的调整后的点云数据;其中,反射率标定表表征副雷达的每条扫描线对应的每种反射率所匹配的主雷达的目标反射率信息;将主雷达采集到的点云数据与副雷达对应的调整后的点云数据进行融合,得到融合后的点云数据。
1.一种点云数据的融合方法,其特征在于,包括:获取设置在目标车辆上的主雷达和副雷达分别采集得到的点云数据;所述主雷达为所述目标车辆上的雷达中的一个,所述副雷达为所述目标车辆上的雷达中除主雷达以外的雷达;基于预先确定的所述副雷达的反射率标定表,对所述副雷达采集的点云数据中的反射率进行调整,得到所述副雷达的调整后的点云数据;其中,所述反射率标定表表征所述副雷达的每条扫描线对应的每种反射率所匹配的主雷达的目标反射率信息;将所述主雷达采集到的点云数据与所述副雷达的调整后的点云数据进行融合,得到融合后的点云数据;根据下述步骤确定所述反射率标定表:获取设置在样本车辆上的所述主雷达采集得到的第一样本点云数据,以及设置在所述样本车辆上的所述副雷达采集得到的第二样本点云数据;基于所述第一样本点云数据,生成体素地图数据,其中,所述体素地图数据包括多个三维体素网格的数据,每个三维体素网格的数据包括基于该三维体素网格内的多个扫描点的点云数据确定的反射率信息;基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表。
2.根据权利要求1所述的点云数据的融合方法,其特征在于,所述基于所述第一样本点云数据,生成体素地图数据,包括:获取所述样本车辆在移动过程中依次采集的多个位姿数据;基于所述多个位姿数据对所述第一样本点云数据进行去畸变处理,得到处理后的第一样本点云数据;基于处理后的第一样本点云数据,生成体素地图数据。
3.根据权利要求1或2所述的点云数据的融合方法,其特征在于,所述反射率信息包括反射率平均值,根据以下步骤确定所述体素地图数据中包括的每个三维体素网格的数据:针对所述每个三维体素网格,基于该三维体素网格内各个扫描点的点云数据中的反射率,确定该三维体素网格对应的反射率平均值;基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表,包括:针对所述副雷达的每条扫描线的每种反射率,从所述第二样本点云数据中,确定与该种反射率对应的多个目标扫描点的位置信息,所述多个目标扫描点是由该条扫描线扫描得到的扫描点;基于所述多个目标扫描点的位置信息,确定所述多个目标扫描点对应的至少一个三维体素网格;基于所述至少一个三维体素网格分别对应的所述反射率平均值,确定该条扫描线的该种反射率所匹配的所述主雷达的目标反射率信息;基于确定的所述副雷达的每条扫描线的每种反射率所匹配的所述主雷达的所述目标反射率信息,生成所述反射率标定表。
4.根据权利要求3所述的点云数据的融合方法,其特征在于,所述三维体素网格的数据中包括所述反射率平均值和权重影响因子,所述权重影响因子包括反射率方差和/或扫描点数量;在所述至少一个三维体素网格为多个三维体素网格的情况下,基于所述至少一个三维体素网格分别对应的所述反射率平均值,确定该条扫描线的该种反射率匹配的所述主雷达的目标反射率信息,包括:基于所述权重影响因子,确定所述至少一个三维体素网格中每个所述三维体素网格对应的权重;基于所述每个三维体素网格对应的权重及其对应的反射率平均值,确定该条扫描线的该种反射率所匹配的所述主雷达的所述目标反射率信息。
5.根据权利要求1-4任一所述的点云数据的融合方法,其特征在于,基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表,包括:获取所述样本车辆在移动过程中依次采集的多个位姿数据,并基于所述多个位姿数据对所述第二样本点云数据进行去畸变处理,得到处理后的第二样本点云数据;基于所述主雷达在所述样本车辆上的位置信息以及所述副雷达在所述样本车辆上的位置信息,确定所述第一样本点云数据与所述第二样本点云数据之间的相对位置信息;利用所述相对位置信息对处理后的第二样本点云数据进行坐标转换,得到目标坐标系下的第二样本点云数据;其中,所述目标坐标系为所述第一样本点云数据对应的坐标系;基于所述目标坐标系下的第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表。
6.根据权利要求2或5所述的点云数据的融合方法,其特征在于,将所述第一样本点云数据和所述第二样本点云数据分别作为目标样本点云数据,在所述目标样本点云数据为第一样本点云数据时,将所述主雷达作为目标雷达,在所述目标样本点云数据为第二样本点云数据时,将所述副雷达作为目标雷达;所述目标样本点云数据中有多帧,每帧目标样本点云数据包括目标雷达发射多条扫描线采集到的目标样本点云数据;其中,所述目标雷达按照预设频率分批次发射扫描线,每批次发射多条扫描线;根据以下步骤对目标样本点云数据进行去畸变处理:基于所述多个位姿数据,确定所述目标雷达在发射每批次扫描线时的位姿信息;针对每帧目标样本点云数据中非首批次发射扫描线所采集到的目标样本点云数据,基于所述目标雷达在发射该批次扫描线时的位姿信息,将发射该批次扫描线所采集到的目标样本点云数据的坐标,转换到该帧目标样本点云数据中发射首批次扫描线所采集到的目标样本点云数据所对应的目标雷达的坐标系下,得到该帧目标样本点云数据的第一次去畸变后的目标样本点云数据;针对第一次去畸变后的多帧目标样本点云数据中任一非首帧目标样本点云数据,基于所述目标雷达在扫描得到该帧目标样本点云数据时的位姿信息,将该帧目标样本点云数据的坐标转换到首帧目标样本点云数据对应的目标雷达的坐标系下,得到该帧目标样本点云数据对应的第二次去畸变后的目标样本点云数据。
7.根据权利要求1-6任一所述的点云数据的融合方法,其特征在于,在生成所述反射率标定表之后,所述方法还包括:在所述反射率标定表中,确定不存在匹配的目标反射率信息的扫描线的反射率;基于所述反射率标定表中所述主雷达的所述目标反射率信息,确定所述不存在匹配的目标反射率信息的扫描线的反射率所对应的主雷达的目标反射率信息;基于确定的所述不存在匹配的目标反射率信息的扫描线的反射率所对应的主雷达的目标反射率信息,更新所述反射率标定表。
8.一种点云数据的融合装置,其特征在于,包括:获取模块,用于获取设置在目标车辆上的主雷达和副雷达分别采集得到的点云数据;所述主雷达为所述目标车辆上的雷达中的一个,所述副雷达为所述目标车辆上的雷达中除主雷达以外的雷达;调整模块,用于基于预先确定的所述副雷达的反射率标定表,对所述副雷达采集的点云数据中的反射率进行调整,得到所述副雷达的调整后的点云数据;其中,所述反射率标定表表征所述副雷达的每条扫描线对应的每种反射率所匹配的主雷达的目标反射率信息;融合模块,用于将所述主雷达采集到的点云数据与所述副雷达的调整后的点云数据进行融合,得到融合后的点云数据;反射率标定确定模块,用于根据下述步骤确定所述反射率标定表:获取设置在样本车辆上的所述主雷达采集得到的第一样本点云数据,以及设置在所述样本车辆上的所述副雷达采集得到的第二样本点云数据;基于所述第一样本点云数据,生成体素地图数据,其中,所述体素地图数据包括多个三维体素网格的数据,每个三维体素网格的数据包括基于该三维体素网格内的多个扫描点的点云数据确定的反射率信息;基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的点云数据的融合方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的点云数据的融合方法的步骤。



