有效
一种人群密度估计方法及系统
李威、代昌松、吴晓、胡辛、何廷全
西南交通大学
摘要
本发明涉及计算机视觉技术领域,公开了一种人群密度估计方法及系统,该方法,采用改进的邻近时空感知网络对包括人群的图像进行人群信息分析;其中,人群信息分析包括人群计数和/或人群定位。本发明解决了解决现有技术中人群密度估计存在的准确度较低等问题。
1.一种人群密度估计方法,其特征在于,采用改进的邻近时空感知网络对包括人群的图像进行人群信息分析;其中,人群信息分析包括人群密度检测和/或人群定位。
2.根据权利要求1所述的一种人群密度估计方法,其特征在于,包括以下步骤:S1,网络模型构建:构建改进的邻近时空感知网络;其中,改进的邻近时空感知网络模型包括骨干网络、颈部、密度图输出头和定位图输出头;S2,损失函数设置:设置改进的邻近时空感知网络模型的密度损失函数用于人群密度检测,和/或,设置改进的邻近时空感知网络模型的定位损失函数用于人群定位;S3,人群信息分析:训练改进的邻近时空感知网络模型,采用密度评估指标分析人群密度检测,和/或,采用定位评估指标分析人群定位。
3.根据权利要求2所述的一种人群密度估计方法,其特征在于,步骤S1中,采用SwinTransformer模型作为改进的邻近时空感知网络模型的骨干网络。
4.根据权利要求3所述的一种人群密度估计方法,其特征在于,步骤S1中,采用瓶颈复合多尺度先验模块替换原邻近时空感知网络模型FPN结构中的卷积层,以替换后的FPN结构作为改进的邻近时空感知网络模型的颈部。
5.根据权利要求2所述的一种人群密度估计方法,其特征在于,步骤S2中,密度损失函数为:其中, 表示最优运输损失, 表示未归一化的真实密度图函数值, 表示未归一化的预测密度图函数值,|·| 1 表示对一维特征图的求和, 表示沃斯特斯坦距离函数,α * 表示真实值分布矩阵,β * 表示预测值分布矩阵,<·>表示成本矩阵函数,<·>用于衡量两者之间的差值,P和Q表示两个不同的分布, 表示分布P和分布Q之间的沃斯特斯坦距离,π表示传输计划或矩阵,π指定了从P的每个元素到Q的每个元素应该移动的质量,π i,j 表示传输计划的元素,表示从P的第i个元素到Q的第j个元素应该移动的质量,c i,j 表示从P的第i个元素到Q的第j个元素的质量成本,min π 表示对传输计划的最小化操作。
6.根据权利要求2所述的一种人群密度估计方法,其特征在于,步骤S2中,引入总可变损失后的密度损失函数公式为:其中, 表示总可变损失,f TV (·)表示L1范数损失函数,L1Loss表示L1范数损失,i表示当前变量的索引值,n表示总变量数,y i 表示第i个真实值,x i 表示第i个输入值,f(x i )表示第i个预测值。
7.根据权利要求2所述的一种人群密度估计方法,其特征在于,步骤S2中,定位损失函数为:其中, 表示定位损失函数, 表示预测点位置标签, 表示真实点位置标签, 表示预测点偏移量, 表示真实点偏移量,l表示特征图的层编号,L表示特征图的总层数,i表示横坐标的索引,W l 表示特征图的宽度,j表示纵坐标的索引,H l 表示特征图的高度, 表示对预测点和真实点在第l层中(i,j)位置的标签值求分类损失,S k (i,j,l)表示第l层中(i,j)位置的预测概率值, 表示对预测点和真实点在第l层中(i,j)位置的偏移量求得的回归损失, 表示预测点在分类子图第l层中(i,j)位置的标签值, 表示真实点在分类子图第l层中(i,j)位置的标签值, 表示预测点在回归子图第l层中(i,j)位置的偏移量, 表示真实点在回归子图第l层中(i,j)位置的偏移量。
8.根据权利要求2所述的一种人群密度估计方法,其特征在于,步骤S3中,密度评估指标采用平均绝对误差进行计算,公式为:其中,MAE表示预测值与真实值之间的平均误差,i表示视频的编号,j表示帧的编号,M表示视频的总数,N i 表示在第i个视频中帧数,Z i,j 表示第i个视频第j帧图像中真实人群数量, 表示第i个视频第j帧图像中预测人群数量。
9.根据权利要求2所述的一种人群密度估计方法,其特征在于,步骤S3中,定位评估指标采用如下方法:使用贪婪算法计算不同阈值下每个预测点与每个真实点之间的位置关系。
10.一种人群密度估计系统,其特征在于,用于实现权利要求1至9任一项所述的一种人群密度估计方法,包括依次连接的以下模块:网络模型构建模块:用以,构建改进的邻近时空感知网络;其中,改进的邻近时空感知网络模型包括骨干网络、颈部、密度图输出头和定位图输出头;损失函数设置模块:用以,设置改进的邻近时空感知网络模型的密度损失函数用于人群密度检测,和/或,设置改进的邻近时空感知网络模型的定位损失函数用于人群定位;人群信息分析模块:用以,训练改进的邻近时空感知网络模型,采用密度评估指标分析人群密度检测,和/或,采用定位评估指标分析人群定位。





