基于图像检测与云台的动态目标追踪系统和方法

1.一种基于图像检测与云台的动态目标追踪系统，其特征在于，所述系统包括：数据处理终端、云台、摄像头、单片机以及运动单元；其中，所述数据处理终端分别与摄像头与单片机连接，包括显示器、控制模块和目标检测模块；所述目标检测模块用于将预先标注后的多样化环境条件下的采集图像及对应的负样本数据组成训练数据集并输入基于深度学习的目标检测模型进行训练，并基于训练好的目标检测模型，通过子图划分进行目标检测；所述显示器通过与目标检测模块连接，用于展示并输出图像中的目标标注框；所述控制模块通过与显示器连接，计算获取目标标注框中心点与图像画面中心点之间的偏差角度，并通过引入云台速度智能系数，将所述偏差角度转换为PWM信号并导入单片机中；所述云台与摄像头固定连接，通过云台中舵机的运动，控制摄像头进行拍摄方位角度调整，实现运动目标的动态追踪与图像采集，并将采集图像上传至数据处理终端中的目标检测模块；所述单片机的两端分别与舵机和数据处理终端连接，用于将所述数据处理终端中的控制模块输入的PWM信号转发至舵机中，并结合舵机内部署的PID算法控制舵机的运动；具备激光雷达和自动避障功能的所述运动单元安装在云台底部，用于在动态追踪运动目标的过程中，通过激光雷达监测并保持云台与目标之间的追踪距离在设定的阈值范围内；其中，所述控制模块通过与显示器连接，计算获取目标标注框中心点与图像画面中心点之间的偏差角度，并通过引入云台速度智能系数，将所述偏差角度转换为PWM信号并导入单片机中，包括：所述控制模块通过与显示器连接，计算获取目标标注框中心点与图像画面中心点之间的水平位置偏差与垂直位置偏差，并根据所述水平位置偏差、垂直位置偏差以及对应方向的视场角进行计算，获取目标标注框中心点与图像画面中心点之间的水平偏差角度与垂直偏差角度，分别表示为 ；其中， 和 分别表示目标标注框中心点与图像画面中心点之间的水平偏差角度与垂直偏差角度； 和 分别表示目标标注框中心点与图像画面中心点之间的水平位置偏差与垂直位置偏差； 和 分别表示摄像头的水平视场角与垂直视场角；目标图像的分辨率为 ， 为宽度， 为高度； 表示水平方向上每像素对应的视场角， 表示垂直方向上每像素对应的视场角；在获取目标标注框中心点与图像画面中心点之间的偏差角度的基础上，引入云台速度智能系数K，通过智能调整K值控制云台的追踪速度，以适应运动目标的动态追踪；具体地，当监测到目标标注框中心点与图像画面中心点之间的距离增大时，二者之间的偏差角度同步增大，表示目标正在偏离云台的当前视线中心，此时自动增加K值以降低偏差角度，并通过将偏差角度转换为PWM信号并导入单片机中后，通过单片机控制提升云台的追踪速度，确保目标保持在图像画面中心；相反，当监测到目标标注框中心点与图像画面中心点的之间距离减小时，二者之间的偏差角度同步减小，表示目标正在接近画面中心，此时判断K值是否为初始值，若是，则保持初值；若否，则自动降低K值以增加偏差角度，并通过将偏差角度转换为PWM信号并导入单片机中后，通过单片机控制降低云台的追踪速度，直至降低至K值的初始值；其中，云台速度智能系数K的大小与云台追踪速度之间的关系式表示为： ，其中， 表示云台追踪速度， 表示云台的舵机单次转动的距离，t表示云台的舵机单次转动的时间，当t值不变时，通过引入K值控制舵机单次转动的距离 ，进而控制云台追踪速度。 2.根据权利要求1所述的基于图像检测与云台的动态目标追踪系统，其特征在于，所述摄像头通过USB线接入数据处理终端；所述单片机通过串口与所述数据处理终端连接并进行通讯。 3.根据权利要求1所述的基于图像检测与云台的动态目标追踪系统，其特征在于，所述目标检测模块用于将预先标注后的多样化环境条件下的采集图像及对应的负样本数据组成训练数据集并输入基于深度学习的目标检测模型进行训练，并基于训练好的目标检测模型，通过子图划分进行目标检测，包括：所述目标检测模块将预先标注后的多样化环境条件下的采集图像从JSON格式转换为TXT格式，获取TXT标注文件，并将所述标注后的采集图像与对应的TXT标注文件及对应的负样本数据整合至COCO数据集的图像和标签目录中，得到训练数据集，并将所述训练数据集输入基于深度学习的目标检测模型进行训练，直至得到训练好的目标检测模型；其中，所述目标检测模型以YOLO模型为基础；将摄像机实时采集的图像输入所述训练好的目标检测模型进行目标检测，模型首先对输入图像进行子图划分处理，得到的每张子图具备重叠部分；然后，按序将每张子图输入YOLO模型进行检测，当在子图的中心区域检测到目标时，结束目标检测并对下一张图进行目标检测；在某块子图的边缘区域检测到目标时，将目标所在的边缘区域的邻接子图与目标所在子图合并为一张子图后，再次进行目标检测，直至在子图的中心区域检测到目标时，结束目标检测并对下一张图进行目标检测；最后，在对所有子图进行目标检测后，根据子图的位置坐标将检测获取的目标坐标映射至初始输入图像中，并输出最终的目标检测结果至显示器中。 4.根据权利要求1所述的基于图像检测与云台的动态目标追踪系统，其特征在于，目标标注框中心点与图像画面中心点之间的水平偏差角度 和垂直偏差角度 与PWM信号值之间的转换关系式表示为 ；其中，PWM信号的初始值是1500，即零位为1500，PWM信号的范围为500-2500。 5.根据权利要求1所述的基于图像检测与云台的动态目标追踪系统，其特征在于，所述控制模块还通过设置决策边界进行目标标注框中心点的高效定位；具体地，在云台动态追踪运动目标时，持续监测目标标注框中心点与图像画面中心点之间的水平偏差角度 和垂直偏差角度 的大小，当两个偏差角度分别进入预设的阈值范围内时，判定目标标注框中心成功定位至图像画面中心。 6.根据权利要求1所述的基于图像检测与云台的动态目标追踪系统，其特征在于，所述云台由第一舵机、第二舵机、第一U形梁、第二U形梁、第一金属舵盘、第二金属舵盘、长U支架、摩擦环以及两个多功能支架组成；所述两个多功能支架通过八个M3螺栓和八个M3螺母固定并水平放置，在所述两个多功能支架顶部组成的水平面上，通过四个M3螺栓和四个M3螺母固定有一个第二U形梁，控制云台水平方向移动的第二舵机竖直装载在第二U形梁中，并通过所述第二舵机两侧各两个的M5螺栓和各两个的M5螺母与所述第二U形梁连接固定；所述第二金属舵盘卡接在所述第二舵机的正上方，且所述第二金属舵盘通过四个M3螺栓与所述第一U形梁连接固定，当所述第二舵机启动时，所述第一U形梁进行水平方向的移动；控制云台垂直运动的第一舵机水平装载在所述第一U形梁的内部，并通过所述第一舵机两侧各两个的M5螺栓和各两个的M5螺母与所述第一U形梁连接固定；所述第一金属舵盘卡接在所述第一舵机的侧面，且所述第一金属舵盘通过四个M3螺栓与长U支架的一侧连接固定，所述长U支架的另一侧通过一个M3螺栓和一个M3螺母与所述第一U形梁连接固定，且在所述长U支架与所述第一U形梁的连接处安装有一个摩擦环用于增大摩擦，当所述第一舵机启动时，所述长U支架进行垂直方向的转动。 7.根据权利要求6所述的基于图像检测与云台的动态目标追踪系统，其特征在于，摄像头固定安装在云台的长U支架的顶部，当所述摄像头遭遇意外情况导致在拍摄的图像画面中某一帧没有检测到目标时，开始计数，当连续三十帧均未检测到目标时，判定目标丢失，并通过数据处理终端中的控制模块下发控制指令，控制云台持续在水平方向的极限角度范围内进行来回转动，直至摄像头重新锁定目标；其中，云台在水平方向的极限角度范围为[-135°,135°]。 8.根据权利要求7所述的基于图像检测与云台的动态目标追踪系统，其特征在于，当系统重启时，所述云台自动返回初始位置，且所述控制模块输出的PWM信号返回至初始值。 9.一种基于图像检测与云台的动态目标追踪方法，所述方法基于权利要求1-8任一项所述的基于图像检测与云台的动态目标追踪系统实现，其特征在于，所述方法包括以下步骤：在数据处理终端的目标检测模块中，将预先标注后的多样化环境条件下的采集图像及对应的负样本数据组成训练数据集并输入基于深度学习的目标检测模型进行训练，直至得到训练好的目标检测模型；其中，所述目标检测模型通过子图划分进行目标检测；通过固定连接的云台与摄像头进行运动目标的动态追踪与图像采集，并通过云台底部安装的具备激光雷达和自动避障功能的运动单元，监测云台与目标之间的追踪距离，若所述追踪距离位于设定的阈值范围外，所述运动单元携带云台朝着目标方向移动并在移动过程中自动避障；若所述追踪距离位于设定的阈值范围内，将摄像头当前采集的图像上传至目标检测模块中进行目标检测，并判断数据处理终端中的显示器是否能输出目标标注框，若为否，表示未检测到目标，从当前帧开始计数，当连续三十帧均未检测到目标时，判定目标丢失，并通过数据处理终端中的控制模块下发控制指令，控制云台持续在水平方向的极限角度范围内进行来回转动，直至摄像头重新锁定目标，显示器成功输出采集图像中的目标标注框；若为是，通过控制模块计算获取目标标注框中心点与图像画面中心点之间的偏差角度，并通过引入云台速度智能系数，将所述偏差角度转换为PWM信号并导入单片机中，单片机进一步通过与云台的舵机连接，将所述PWM信号转发至舵机中，并结合舵机内部署的PID算法控制舵机的运动；进一步判断目标标注框中心点与图像画面中心点之间的偏差角度是否在预设的阈值范围内，若为是，判定目标标注框中心成功定位至图像画面中心；若为否，通过智能调整云台速度智能系数的值控制云台的追踪速度，直至目标标注框中心成功定位至图像画面中心，并进一步更新云台自身的位置，持续监测云台与目标之间的追踪距离，进行运动目标的持续追踪；其中，通过控制模块计算获取目标标注框中心点与图像画面中心点之间的偏差角度，并通过引入云台速度智能系数，将所述偏差角度转换为PWM信号并导入单片机中，包括：所述控制模块通过与显示器连接，计算获取目标标注框中心点与图像画面中心点之间的水平位置偏差与垂直位置偏差，并根据所述水平位置偏差、垂直位置偏差以及对应方向的视场角进行计算，获取目标标注框中心点与图像画面中心点之间的水平偏差角度与垂直偏差角度，分别表示为 ；其中， 和 分别表示目标标注框中心点与图像画面中心点之间的水平偏差角度与垂直偏差角度； 和 分别表示目标标注框中心点与图像画面中心点之间的水平位置偏差与垂直位置偏差； 和 分别表示摄像头的水平视场角与垂直视场角；目标图像的分辨率为 ， 为宽度， 为高度； 表示水平方向上每像素对应的视场角， 表示垂直方向上每像素对应的视场角；在获取目标标注框中心点与图像画面中心点之间的偏差角度的基础上，引入云台速度智能系数K，通过智能调整K值控制云台的追踪速度，以适应运动目标的动态追踪；具体地，当监测到目标标注框中心点与图像画面中心点之间的距离增大时，二者之间的偏差角度同步增大，表示目标正在偏离云台的当前视线中心，此时自动增加K值以降低偏差角度，并通过将偏差角度转换为PWM信号并导入单片机中后，通过单片机控制提升云台的追踪速度，确保目标保持在图像画面中心；相反，当监测到目标标注框中心点与图像画面中心点的之间距离减小时，二者之间的偏差角度同步减小，表示目标正在接近画面中心，此时判断K值是否为初始值，若是，则保持初值；若否，则自动降低K值以增加偏差角度，并通过将偏差角度转换为PWM信号并导入单片机中后，通过单片机控制降低云台的追踪速度，直至降低至K值的初始值；其中，云台速度智能系数K的大小与云台追踪速度之间的关系式表示为： ，其中， 表示云台追踪速度， 表示云台的舵机单次转动的距离，t表示云台的舵机单次转动的时间，当t值不变时，通过引入K值控制舵机单次转动的距离 ，进而控制云台追踪速度。