一种基于多分辨率融合卷积的开放集人体行为识别系统、方法、设备及存储介质

1.一种基于多分辨率融合卷积的开放集人体行为识别系统，其特征在于，包括依次连接的人体行为信息采集模块、人体行为信息传输模块、人体行为信息预处理模块、人体行为分类识别模块、开放集分类识别模块和人体行为信息应用模块；所述人体行为信息采集模块用于：实时采集用户的行为数据，行为数据包括加速度传感器的X、Y、Z三轴数据、角速度传感器的X、Y、Z三轴数据、磁力计的X、Y、Z三轴数据；所述人体行为信息传输模块用于：将采集的用户的行为数据传输至本地服务器或云服务器；所述人体行为信息预处理模块用于：对采集的用户的行为数据进行依次进行存储、合并、滤波、增广、归一化或标准化、滑动窗口分割和标签标定，从而得到平滑、多样、不受量纲影响且带有标签的行为数据片段；所述人体行为分类识别模块用于：将所述人体行为信息预处理模块预处理的用户的行为数据输入到训练好的所述人体行为分类识别模块中进行行为类型判别；所述开放集分类识别模块用于：在开放集情况下，对输入到识别模型中的行为数据进行准确的判别；所述人体行为信息应用模块用于：将得到的人体行为分类识别结果传输到各种应用平台，从而实现相应的功能。 2.根据权利要求1所述的一种基于多分辨率融合卷积的开放集人体行为识别系统，其特征在于，所述人体行为分类识别模块包括依次连接的多分辨率融合卷积模块、多分辨率注意力并行卷积模块、融合注意力卷积模块和封闭集输出模块；所述多分辨率融合卷积模块用于对预处理后的用户的行为数据进行采样，生成不同分辨率的数据；所述多分辨率融合卷积模块包括依次连接的数据上采样单元、数据下采样单元和第一数据多分辨率融合卷积单元；通过数据上采样单元将预处理后的用户的行为数据的数据长度变为2倍，使用直接复制的方式进行上采样；通过数据下采样单元分别将预处理后的用户的行为数据的数据长度分别变为原始数据长度的1/2和1/4，使用卷积核大小为3×1、步长分别为2和4的卷积计算进行下采样；另外，将预处理后的用户的行为数据通过卷积核大小为3×1、步长为1的卷积计算，生成和原始数据即预处理后的用户的行为数据同分辨率的特征数据；第一数据多分辨率融合卷积单元再次通过上采样和下采样方法，进行不同分辨率的融合卷积计算，进一步对传感器数据进行不同分辨率下的特征提取；所述多分辨率注意力并行卷积模块用于对不同分辨率的传感器数据进行深度特征提取；所述多分辨率注意力并行卷积模块包括依次连接的同分辨率数据拼接单元、并行自注意力单元和并行卷积单元；同分辨率数据拼接单元是将经过第一数据多分辨率融合卷积单元处理的加速度传感器的X、Y、Z三轴数据、角速度传感器的X、Y、Z三轴数据、磁力计的X、Y、Z三轴数据共9轴传感器数据分别生成的4种分辨率数据，按照相同分辨率的原则拼接起来，使不同分辨率的数据均包括9轴传感器数据；并行自注意力单元是对不同分辨率的数据中的重要特征进行自动加权，给予重要特征更多的关注；并行卷积单元进一步对自注意力单元处理后的数据进行深度特征提取；所述融合注意力卷积模块用于对不同分辨率的特征数据进行深度融合；所述融合注意力卷积模块包括依次连接的第二数据多分辨率融合卷积单元、融合自注意力单元和融合卷积单元；第二数据多分辨率融合卷积单元用于将并行的不同分辨率特征数据进行融合，变成长度为原始传感器数据窗口大小的特征数据；融合自注意力单元用于对融合后的深度特征数据中的重要特征进行自动提取；融合卷积单元进一步对数据特征进行深度提取；所述封闭集输出模块用于对封闭集分类识别结果进行输出以及开放集特征向量输出，所述封闭集输出模块包括依次连接的全连接单元和封闭集分类判别输出单元；全连接单元即多层全连接层，将数据进行特征空间变换；封闭集分类判别输出单元通过Softmax层进行计算并输出识别结果。 3.根据权利要求1所述的一种基于多分辨率融合卷积的开放集人体行为识别系统，其特征在于，所述开放集分类识别模块包括依次连接的损失函数计算更新模块和开放集输出模块；所述损失函数计算更新模块用于计算训练过程中已知类别行为数据的均值和方差，以此生成损失函数从而对识别模型进行参数更新；所述损失函数计算更新模块包括依次连接的同类数据均值、方差计算单元和损失函数构建单元；在同类数据均值、方差计算单元中，将全连接层中倒数第二层的向量按照同类别进行排布，分别计算每个类别的均值和方差，损失函数通过均值和方差进行构建；在训练过程中，先按照每批次B的数据量，按照封闭集方式进行训练，B设置为小于数据总量的任意正整数，每一轮的训练结束后，使用构建的损失函数进行识别模型的参数调整，不断重复此过程直至收敛；所述开放集输出模块用于对已知类和未知类别的判定阈值进行计算并输出判定的类别，包括依次连接的类别阈值确定单元和开放集判别输出单元；在类别阈值确定单元中，计算每个类别中分类正确的所有特征数据点与中心均值点的距离，并进行归一化操作；选择从Z i ∈(0,1)的阈值，计算不同阈值下每个类别中所包含的特征数据点占比，当占比超过90％时的阈值Z i ，即判定为开放集分类阈值，其中i代表不同的行为类别，i＝1,2,3,...,T，T为所有已知的行为类别总数；当新的数据输入到识别模型中时，计算其全连接层倒数第二层的特征向量与不同已知类别中心均值之间的归一化距离，当该距离小于某一类别的阈值Z i 时即判定为该类别，若均大于每一类别的阈值Z i 则被判定为未知类别；开放集判别输出单元即根据上述判别的结果进行输出。 4.根据权利要求1所述的一种基于多分辨率融合卷积的开放集人体行为识别系统，其特征在于，所述人体行为信息采集模块包括若干不同的传感器单元，被集成在可穿戴设备中，分别佩戴在用户身体的相应位置，传感器单元包括三轴加速度传感器、三轴角速度传感器、三轴磁力计，用以采集用户的行为数据。 5.根据权利要求1所述的一种基于多分辨率融合卷积的开放集人体行为识别系统，其特征在于，将采集的用户的行为数据通过超宽带、蓝牙、5G中的任一传输方式传输至本地服务器或云服务器。 6.根据权利要求1所述的一种基于多分辨率融合卷积的开放集人体行为识别系统，其特征在于，所述人体行为信息预处理模块包括依次连接的传感器数据存储单元、传感器数据合并单元、加速度数据重力滤波单元、传感器数据平滑滤波单元、数据增广单元、数据归一化/标准化单元、滑动窗口分割单元、数据标签标定单元；所述传感器数据存储单元用于将实时的用户的行为数据进行存储；所述传感器数据合并单元用于将不同传感器单元的行为数据进行拼接合并，合并后的数据是二维数组格式，横向按照三轴加速度传感器的X、Y、Z轴数据、三轴角速度传感器的X、Y、Z轴数据、三轴磁力计的X、Y、Z轴数据的顺序依次排列，纵向按照时间顺序进行排列；所述加速度数据重力滤波单元用于将固有的重力加速度滤除，得到实际的行为加速度；具体是指：使用Butterworth滤波器消除重力加速度，得到人体运动过程中真正的加速度；所述传感器数据平滑滤波单元用于去除原始传感器数据中的噪声；所述数据增广单元用于扩充数据集；所述数据归一化/标准化单元用于将有不同量纲和取值范围的数据转换到同一取值范围；所述滑动窗口分割单元用于将连续长时间的传感器数据分割为若干个数据片段；所述数据标签标定单元用于对经过滑动窗口分割后的数据进行标签标定，并对标签进行one-hot编码。 7.一种基于多分辨率融合卷积的开放集人体行为识别方法，通过权利要求1-6任一所述的基于多分辨率融合卷积的开放集人体行为识别系统实现，其特征在于，包括步骤如下：步骤S1：人体行为数据采集实时采集用户的行为数据即人体行为数据，行为数据包括加速度传感器的X、Y、Z三轴数据、角速度传感器的X、Y、Z三轴数据、磁力计的X、Y、Z三轴数据；步骤S2：人体行为数据传输将采集的用户的行为数据传输至本地服务器或云服务器；步骤S3：人体行为数据预处理对采集的用户的行为数据进行依次进行存储、合并、滤波、增广、归一化或标准化、滑动窗口分割和标签标定，从而得到平滑、多样、不受量纲影响且带有标签的行为数据片段；步骤S4：构建识别模型与封闭集分类识别将步骤S3预处理后的行为数据片段分批次输入到识别模型当中，经过训练得到封闭集的识别输出；封闭集输出模块包括依次连接的Flatten展平层、Dense全连接层、Drop剪枝层、LayerNorm层归一化、两层Dense全连接层和Softmax输出层；步骤S5：损失函数计算更新与反馈开放集情况下，将步骤S4中封闭集输出模块的两层Dense全连接层中的前一层Dense全连接层输出的特征向量，按照同类别的原则进行处理，计算属于同类别且最终分类正确的特征向量中心均值以及方差，分别如公式(1)和公式(2)所示，另外对方差进行了归一化操作，如公式(3)所示：其中，μ i 表示类别i的中心均值向量，(σ i ) 2 表示类别i的方差，Nor((σ i ) 2 )表示归一化后类别i的方差，|C i |表示类别i中分类正确的特征向量个数， 表示类别i中第j个数据在全连接层倒数第二层输出的特征向量，T为所有已知的行为类别总数；损失函数设为公式(4)：其中，max(△μ)表示两两类别中心均值之间距离的最大值，使用1-范数计算；每一轮训练时，先分批次将已知类别的数据按照每批次B的数据量输入到识别模型中进行参数更新，B设置为小于数据总量的任意正整数，此时使用封闭集训练时常用的交叉熵损失函数和Softmax函数进行训练和输出，当一轮训练结束后，再仅使用公式(4)中的损失函数L返回步骤S4进行训练，直至收敛，以此进一步调整识别模型参数，并使得同类数据在多维空间中距离更近，异类数据中心均值距离更远；步骤S6：确定阈值与开放集判别输出识别模型训练结束后，计算每个类别中分类正确的所有特征数据点与中心均值点的距离，并进行归一化操作，如公式(5)和公式(6)所示：其中，△z i 代表第i个类别中分类正确的特征向量距离中心均值点的平均距离， 代表第i个类别中分类正确的第j个特征向量距离中心均值点的归一化距离，取值范围为[0,1]；选择从Z i ∈(0,1)的阈值，计算不同阈值下每个类别中所包含的特征数据点占比，即 范围内特征数据点的占比，当占比超过90％时的阈值Z i ，即判定为开放集分类阈值，其中i代表不同的行为类别，i＝1,2,3,...,T，T为所有已知的行为类别总数；当新的数据输入到识别模型中时，计算其全连接层倒数第二层的特征向量与不同已知类别中心均值之间的归一化距离 当 小于等于某一类别的阈值Z i 时即判定为该类别，若均大于每一类别的阈值Z i 则被判定为未知类别；步骤S7：判别输出结果应用封闭集输出的结果和开放集输出的结果实时传输到相应的应用平台。 8.根据权利要求7所述的一种基于多分辨率融合卷积的开放集人体行为识别方法，其特征在于，步骤S3中，具体实现过程如下：步骤S31：人体行为数据合并将采集的用户的行为数据进行拼接合并，合并后的数据是二维数组格式，横向按照三轴加速度传感器的X、Y、Z轴数据、三轴角速度传感器的X、Y、Z轴数据、三轴磁力计的X、Y、Z轴数据的顺序依次排列，纵向按照时间顺序进行排列；步骤S32：人体行为数据滤波人体行为数据滤波包括加速度数据重力滤波和传感器数据平滑滤波；加速度数据重力滤波使用一个截止频率为0.3Hz的3阶Butterworth滤波器消除重力加速度，提取出单纯的人体行为信号，该3阶Butterworth滤波器表示为公式(7)：其中，w c 为截止频率，w p 为通频带边缘频率，w为角频率， 是|H(w)| 2 在通频带边缘的数值；传感器数据平滑滤波使用三点均值平滑滤波，消除传感器内部的噪声信号，设传感器信号序列为x＝[x 1 ,x 2 ,...,x i ,...,x n ] T ，n表示传感器信号序列中数据点个数；均值平滑的公式如公式(8)和公式(9)所示：其中， 表示经过一次均值平滑后的数值， 表示经过两次均值平滑后的数值；步骤S33：人体行为数据归一化/标准化使用Min-Max归一化方法进行归一化处理，即将所有同类传感器的数值变换到[0，1]之间；Min-Max归一化方法通过对原始数据的线性变换，将全部数据值缩放到[0,1]之间；设输入序列为x＝[x 1 ,x 2 ,...,x i ,...,x n ] T ，经过Min-Max归一化之后的输出序列为y＝[y 1 ,y 2 ,...,y i ,...,y n ] T ，如公式(10)所示：其中，x max 和x min 分别为输入序列x中所有样本的最大值和最小值；使用Z-Score标准化方法进行标准化处理，即将数据变成均值为0，标准差为1的数据；Z-Score标准化方法将数据变成均值为0、标准差为1的数据，如公式(11)所示：其中，μ为输入序列x中所有样本的均值，σ为输入序列x中所有样本的标准差；步骤S34：滑动窗口分割与打标签滑动窗口分割是使用固定长度的窗口，将连续的传感器数据分割为固定长度的数据片段，为每一个数据片段制定相应的标签，即该数据片段对应的行为类别名称，并使用one-hot编码对标签进行编码。 9.根据权利要求7所述的一种基于多分辨率融合卷积的开放集人体行为识别方法，其特征在于，步骤S4，包括步骤如下：步骤S41：多分辨率融合卷积是使用上采样和下采样分别生成不同分辨率的数据特征图，具体是指：将大小为80×1的各行为数据片段变成长度为160×1的行为数据片段，使用直接复制的方式进行上采样；分别将长度为80的各行为数据片段变成长度为40和20的行为数据片段，数据长度分别变为原始数据长度的1/2和1/4，使用卷积核大小为3×1、步长分别为2和4的卷积计算进行下采样；另外，通过卷积核大小为3×1、步长为1的卷积计算，生成和原始数据同分辨率的特征数据；再次通过上采样和下采样方法，进行不同分辨率的融合卷积计算，进一步对传感器单轴数据进行不同分辨率下的特征提取；步骤S42：多分辨率注意力并行卷积是对不同分辨率的传感器数据进行深度特征提取，具体是指：将经过步骤S41不同分辨率的融合卷积计算后得到的加速度传感器的X、Y、Z三轴数据、角速度传感器的X、Y、Z三轴数据、磁力计的X、Y、Z三轴数据共9轴传感器数据分别生成的4种分辨率数据，按照相同分辨率的原则拼接起来，使得不同分辨率的数据均包括了9轴传感器数据，分别得到大小为160×9的高分辨率特征数据、大小为80×9的原分辨率特征数据、大小为40×9的中分辨率特征数据和大小为20×9的低分辨率特征数据这四种不同分辨率的特征数据；将四种不同分辨率的特征数据并行使用自注意力机制进行关键特征提取，其计算过程如公式(12)所示：其中，d k 为键的维度，Q是查询矩阵，K和V分别为矩阵表示的键和值；通过自注意力机制自动提取到传感器单轴特征数据中更重要、更有利于分类的特征A(Q,K,V)；随后，不同分辨率下的特征数据，分别并行进行卷积核大小为3×3、步长为1的卷积计算，充分提取各分辨率下多轴传感器数据之间的特征；步骤S43：融合注意力卷积是对不同分辨率的特征数据进行深度融合，具体是指：通过上采样和下采样，把步骤S42得到的多轴传感器数据之间的特征分辨转换为大小是80×9的特征数据，并拼接成大小为80×36的特征数据；使用自注意力机制进行不同传感器多轴特征数据的重要特征提取，随后通过卷积核大小为3×3、步长为1的卷积计算，充分提取并融合不同分辨率的多轴传感器数据之间的特征；步骤S44：分类识别是对封闭集分类识别结果进行输出以及开放集特征向量输出，具体是指：所述封闭集输出模块包括依次连接的Flatten展平层、Dense全连接层、Drop剪枝层、LayerNorm层归一化、两层Dense全连接层和Softmax输出层。 10.根据权利要求7-9任一所述的一种基于多分辨率融合卷积的开放集人体行为识别方法，其特征在于，步骤S41中，再次通过上采样和下采样方法，进行不同分辨率的融合卷积计算，进一步对传感器单轴数据进行不同分辨率下的特征提取，具体实现过程如下：步骤S411：长度为160的高分辨率数据即长度为160×1的行为数据片段通过卷积核大小为3×1、步长为1的卷积计算，生成同样长度为160的高分辨率数据；长度为160的高分辨率数据通过卷积核大小为3×1、步长为2的卷积计算进行下采样，生成长度为80的原分辨率数据；步骤S412：长度为80的原分辨率数据通过直接复制的方式进行上采样，生成长度为160的高分辨率数据；长度为80的原分辨率数据通过卷积核大小为3×1、步长为1的卷积计算，生成同样长度为80的原分辨率数据；长度为80的原分辨率数据通过卷积核大小为3×1、步长分别为2和4的卷积计算进行下采样，分别生成长度为40和20的中分辨率数据和低分辨率数据；步骤S413：长度为40的中分辨率数据通过直接复制的方式进行上采样，生成长度为80的原分辨率数据；长度为40的中分辨率数据通过卷积核大小为3×1、步长为1的卷积计算，生成同样长度为40的中分辨率数据；长度为40的中分辨率数据通过卷积核大小为3×1、步长分别为2的卷积计算进行下采样，生成长度为20的低分辨率数据；步骤S414：长度为20的低分辨率数据通过直接复制的方式进行上采样，生成长度为80和40的原分辨率数据和中分辨率数据；长度为20的低分辨率数据通过卷积核大小为3×1、步长为1的卷积计算生成同样长度为20的低分辨率数据。