应用于复杂场景的行为检测系统

1.一种应用于复杂场景的行为检测系统，包括图像采集装置、自动识别装置和通信装置，其特征是图像采集装置是网络摄像机，网络摄像机通过现场控制箱内的交换机与箱内的硬盘录像机连接；通信装置是5G无线信号收发单元CPE；CPE与交换机连接；自动识别装置是以CPU和GPU为核心的检测模块；检测模块在控制箱内，并与交换机连接；检测模块对网络摄像机采集到的视频流采样处理，把处理结果通过CPE发送到后台端；在检测模块中，采用AI算法对视频流进行处理和识别，在AI算法中：首先对图像采集装置获得的视频帧序列，提取每一帧中人的骨架信息；再把这些骨架信息的骨架关节在相应帧的位置特征经过归一化处理；最后采用动作骨架识别网络进行识别，并分类输出；归一化处理是对于骨架信息序列，骨架关节在相应帧下的位置特征进行归一化，作为动作骨架识别网络的输入；在动作骨架识别网络中，对骨架关节的位置特征在时间和空间维度进行变换；通过平均池化和全连接层对动作骨架识别网络输出的特征进行分类输出；动作骨架识别网络包括图卷积网络和时间卷积网络；交替使用图卷积网络和时间卷积网络；图卷积网络使用空间移位图运算，建立的轻量级空间移位图卷积模型；空间移位图卷积模型的操作包括：a、先对身体骨架图的节点之间进行移位图操作：给定一个空间骨架特征映射F∈R N×C 第i个通道的移位距离为i mod N；移位后的通道用来填充相应的空白空间；对F的每个节点进行上述移位操作，移位后，每个节点都能够从其他节点获取信息；其中，N为关节点数，C为输入特征维数；b、再应用逐点卷积进行信道间的信息交换；利用自适应，解决骨骼重要性不同的问题；通过下式，来体现人体骨骼不同的重要性： 上述公式计算了一个可学习掩码Mask与移位特征 之间的元素积，其中，可学习的掩码用tanh(M)+1来计算，M为需要计算的关节点；3.2)时间卷积网络使用时间移位图运算，建立的轻量级自适应时间移位图卷积模型，时间移位图卷积的操作包括：a、先进行时间移位操作：给定一个骨架序列特征F∈R N×T×C ，每个通道都有一个可学习的时移参数S i ，i＝1,2,…，C；如果该参数是整数，那么无法传递梯度，因此将时间移位参数从整数约束放宽到实数约束，利用线性插值的方式进行插值计算；非整数移位通过线性插值计算公式如下:式中v为节点，将整数实数化后产生的余量用λ表示， 由于实数化后，锚点落在了 之间，因此在这个区间进行插值；此操作可微，通过反向传播进行训练；b、逐点卷积。