基于增强学习和多传感器融合的自动驾驶系统

1.一种基于增强学习和多传感器融合的自动驾驶系统，包括：感知系统、控制系统和执行系统，其特征在于，所述感知系统通过深度学习网络处理激光雷达、图像采集模块及GPS导航仪的数据，实时识别车辆周围的车辆、行人、车道线、交通标志及信号灯的识别及理解，将激光雷达数据与图像进行匹配融合，形成实时三维街景地图，并判断可行驶区域；所述控制系统采用增强学习网络处理感知系统收集的信息，对车辆周围的人、车、物进行预测，根据车身状态数据与驾驶员动作的记录进行配对，通过对驾驶行为的马尔科夫过程建模，进行基于Q学习的自动驾驶车辆方向盘转角控制决策，最后将感知信息处理为控制方向盘、油门和刹车等的指令，作出行动选择；所述控制系统对于由近及远的目标使用增强学习网络初始化区域，在线检测、学习、跟踪，对于由远及近的目标，使用逆序跟踪方法对检测目标进行持续跟踪，通过距离估算得到车辆和行人的相对速度信息，实现车辆周围的人、车、物的预测；所述执行系统根据控制系统的指令执行相应操作，并将操作结果反馈给控制系统；所述感知系统形成实时三维街景地图，并判断可行驶区域的方法包括：采用PointNet网络构架的多层感知机提取激光雷达获取的三维点云数据的特征点，进一部获得特征物体的轮廓线，将轮廓线进行拼接，构建物体模型；对图像采集模块采集的图像制作图片物体轮廓特征标签；将激光雷达获得特征物体轮廓与图片标签作为输入，通过卷积神经网络将二者特征轮廓进行匹配，输出物体模型的彩色纹理信息；以同样视场角采集激光雷达数据和视频图像，将激光雷达数据转变为激光雷达深度图，通过单帧射线遍历，形成可行驶区域边界，在视频图像上的相同位置以色彩标出该可行驶区域边界，对车辆周围障碍物分析，使用随机场优化算法，通过多次迭代逼近真实图像边界实现可行驶区域检测。 2.根据权利要求1所述的基于增强学习和多传感器融合的自动驾驶系统，其特征在于，所述感知系统利用卷积神经网络训练图片样本，每一个网络层都被训练到局部提取一个由先前网络层产生的车辆、行人、车道线、交通信号灯和交通标志的特征点的子集，每一层都预测了明确的几何约束修正当前网络层的输入，通过由粗到精级联和几何优化的组合，实时定位识别车辆周围的车辆、行人、车道线、交通标志及信号灯的识别及理解。