一种基于GYAC-LSTM的5G网络流量异常检测方法及系统

1.一种基于GYAC-LSTM的5G网络流量异常检测方法，其特征在于，包括：数据预处理步骤，获取已标注异常信息的5G网络流量数据，对该5G网络流量数据进行条件过滤，得到原始训练数据；特征选择步骤，对该原始训练数据进行网络封包分析，得到数据中的特征值并分别生成各自的候选特征集合，基于GYAC对各候选特征集合进行特征选择，以去除该候选特征集合中的冗余特征，得到目标训练数据；训练步骤，将该目标训练数据输入到LSTM模型，执行5G网络流量异常检测，基于检测结果和该目标训练数据已标注的异常信息，构建损失函数训练该LSTM模型，得到流量异常检测模型；异常检测步骤，将待检测5G网络流量输入该流量异常检测模型，得到该待检测5G网络流量的异常信息作为检测结果；其中，该特征选择步骤包括：使用基尼指数差值与同比减小指数共同表示对两类流量数据分类的贡献度，依次计算非同类型数据特征的该贡献度并求和并排名，得到流量特征的重要度排名；使用余弦相似度表示同类流量数据中不同特征之间的相关性，并转换为特征之间的距离，然后根据冗余度阈值和重要度阈值选择相关性系数和重要度系数排名靠前的特征，最后将每类流量选择的特征求并集，得到该目标训练数据。 2.如权利要求1所述的基于GYAC-LSTM的5G网络流量异常检测方法，其特征在于，该数据预处理步骤包括：对该5G网络流量数据，首先使用过滤方法对数据进行清洗，去除无关的数据，然后将清洗后的流量数据按照时间顺序进行排序，设其最大长度为 ，以及时间间为隔 ，将 秒内所有的数据流划分为一个数据流子集 ，再使用统计方法计算 的 维特征集合 ，其中 ，将所有时间间隔 的特征向量进行排列，最终得到一类流量的数据集 ，其中 。 3.如权利要求1所述的基于GYAC-LSTM的5G网络流量异常检测方法，其特征在于，该特征选择步骤包括：对于一个三维的数据集为 ，其中 表示数据类型数量， 表示特征的维度， 表示数据的长度，设 表示其中某一类型的流量数据，则 的特征集合表示为 ，其中 ；以基尼指数衡量某一特征的不纯度或不确定性系数，如式(7)所示： (7)式中 表示特征 中不同数值的概率，特征值的基尼指数取值为0到1之间；设 ，使用基尼差值表示特征 计算数据 分类的贡献度系数一，如式(8)所示： (8) 表示特征值 在总长度 下的均值，如下式(9)所示： (9)使用同比减少指数表示特征 计算数据 分类的贡献度系数二，如下式(10)所示： (10)式中 取值为0到1之间，将该贡献度系数一和该贡献度系数二取不同权重并求和，共同作为特征 区分两类流量数据的总贡献度，如下式(11)所示： (11)通过计算 流量数据与其他流量数据的贡献度并求和，得到特征 的特征重要度系数，如下式(12)所示： (12)使用余弦相似度计算特征间的相关性，设 ，则 和 的相关性系数为 表示两个系数的距离，如下式(14)所示：(14)依次计算 与其他特征的所有距离；根据特征 的重要度系数和距离系数进行重要特征选择，根据预设的冗余度阈值 ，保留与特征 相距最远的特征数量占比，根据预设的重要度阈值 ，确定根据 去除与特征 冗余的特征后，保留重要度系数排名最前的特征数量占比，得到 的候选特征子集，将各类数据 的特征子集取并集，得到 的该目标训练数据。 4.如权利要求1所述的基于GYAC-LSTM的5G网络流量异常检测方法，其特征在于，该训练步骤包括：该LSTM模型的输入层对该目标训练数据的特征进行归一化处理，如下式(16)所示： (16)式中 表示输入原始特征值； 分别表示特征集中的最小值和最大值； 分别表示映射区间的最大值和最小值； 表示按比例缩放后的归一化结果；设数据总时间步长为 每步长包含 维特征，输入表示为 ，每次训练包括 个时间步，每个时间步对应一个LSTM单元，每个单元中会处理 维的特征数据，最后将预测结果输入到全连接层中；全连接层输出维度是流量数据的类型数量，假设为 ，则输出值为 ，为将全连接层的输出对应为预测某一个类别的概率，使用softmax函数将输出映射为0到1之间，并保证所有输出和为1，作为当前输入下进行分类的概率值，设 ,其 经过softmax函数后的输出概率值如下式(17)所示； (17)式中 表示模型预测为某一类型的概率值，取最大概率对应的类别作为该检测结果。 5.一种基于GYAC-LSTM的5G网络流量异常检测系统，其特征在于，包括：数据预处理模块，获取已标注异常信息的5G网络流量数据，对该5G网络流量数据进行条件过滤，得到原始训练数据；特征选择模块，对该原始训练数据进行网络封包分析，得到数据中的特征值并分别生成各自的候选特征集合，使用基于GYAC对各候选特征集合进行特征选择，以去除该候选特征集合中的冗余特征，得到目标训练数据；训练模块，将该目标训练数据输入到LSTM模型，执行5G网络流量异常检测，基于检测结果和该目标训练数据已标注的异常信息，构建损失函数训练该LSTM模型，得到流量异常检测模型；异常检测模块，将待检测5G网络流量输入该流量异常检测模型，得到该待检测5G网络流量的异常信息作为检测结果；其中该特征选择模块用于：使用基尼指数差值与同比减小指数共同表示对两类流量数据分类的贡献度，依次计算非同类型数据特征的该贡献度并求和并排名，得到流量特征的重要度排名；使用余弦相似度表示同类流量数据中不同特征之间的相关性，并转换为特征之间的距离，然后根据冗余度阈值和重要度阈值选择相关性系数和重要度系数排名靠前的特征，最后将每类流量选择的特征求并集，得到该目标训练数据。 6.如权利要求5所述的基于GYAC-LSTM的5G网络流量异常检测系统，其特征在于，该数据预处理模块用于：对该5G网络流量数据，首先使用过滤方法对数据进行清洗，去除无关的数据，然后将清洗后的流量数据按照时间顺序进行排序，设其最大长度为 ，以及时间间为隔 ，将 秒内所有的数据流划分为一个数据流子集 ，再使用统计方法计算 的 维特征集合 ，其中 ，将所有时间间隔 的特征向量进行排列，最终得到一类流量的数据集 ，其中 。 7.如权利要求5所述的基于GYAC-LSTM的5G网络流量异常检测系统，其特征在于，该特征选择模块用于：对于一个三维的数据集为 ，其中 表示数据类型数量， 表示特征的维度， 表示数据的长度，设 表示其中某一类型的流量数据，则 的特征集合表示为 ，其中 ；以基尼指数衡量某一特征的不纯度或不确定性系数，如式(7)所示： (7)式中 表示特征 中不同数值的概率，特征值的基尼指数取值为0到1之间；设 ，使用基尼差值表示特征 计算数据 分类的贡献度系数一，如式(8)所示： (8) 表示特征值 在总长度 下的均值，如下式(9)所示： (9)使用同比减少指数表示特征 计算数据 分类的贡献度系数二，如下式(10)所示： (10)式中 取值为0到1之间，将该贡献度系数一和该贡献度系数二取不同权重并求和，共同作为特征 区分两类流量数据的总贡献度，如下式(11)所示： (11)通过计算 流量数据与其他流量数据的贡献度并求和，得到特征 的特征重要度系数，如下式(12)所示： (12)使用余弦相似度计算特征间的相关性，设 ，则 和 的相关性系数为 表示两个系数的距离，如下式(14)所示：(14)依次计算 与其他特征的所有距离；根据特征 的重要度系数和距离系数进行重要特征选择，根据预设的冗余度阈值 ，保留与特征 相距最远的特征数量占比，根据预设的重要度阈值 ，确定根据 去除与特征 冗余的特征后，保留重要度系数排名最前的特征数量占比，得到 的候选特征子集，将各类数据 的特征子集取并集，得到 的该目标训练数据。 8.如权利要求5所述的基于GYAC-LSTM的5G网络流量异常检测系统，其特征在于，该训练模块用于：该LSTM模型的输入层对该目标训练数据的特征进行归一化处理，如下式(16)所示： (16)式中 表示输入原始特征值； 分别表示特征集中的最小值和最大值； 分别表示映射区间的最大值和最小值； 表示按比例缩放后的归一化结果；设数据总时间步长为 每步长包含 维特征，输入表示为 ，每次训练包括 个时间步，每个时间步对应一个LSTM单元，每个单元中会处理 维的特征数据，最后将预测结果输入到全连接层中；全连接层输出维度是流量数据的类型数量，假设为 ，则输出值为 ，为将全连接层的输出对应为预测某一个类别的概率，使用softmax函数将输出映射为0到1之间，并保证所有输出和为1，作为当前输入下进行分类的概率值，设 ,其 经过softmax函数后的输出概率值如下式(17)所示； (17)式中 表示模型预测为某一类型的概率值，取最大概率对应的类别作为该检测结果。