1.一种基于客户端生成分布式真实网络流量数据集的方法,其特征在于,应用于可与服务器互相通信的客户端,该方法包括:接收到服务器发送的部署命令后,响应于所述部署命令完成部署,并反馈给服务器;接收服务器发送的采集数据流的采集命令,并按照采集命令携带的数据流的会话开始时间开始采集经过自身的数据包,当采集到的数据包达到预设的大小后,以固定格式进行存储;生成一个以五元组为key存储各数据包的hash字典;跟踪自身的当前会话变化,采集当前会话的五元组以及对应的应用程序标识,将采集当前会话的会话开始时间、五元组以及对应的应用程序标识保存至预设映射表;接收服务器下发的记录不同目的IP对应的访问网址的类型细分表;在预设映射表与类型细分表中,确定五元组的同一目的IP;将同一目的IP对应的访问网址、应用程序标识作为五元组的新流量数据标记,加入至流量标记映射表中;按照五元组与应用程序标识之间的映射关系,查询hash字典确定对应的数据流,进行标记;将携带标记的数据流按照不同的会话流定义进行切分,得到带有标记的会话流,组成用应用程序标识和访问网址标记的网络流量数据集。
2.根据权利要求1所述的一种基于客户端生成分布式真实网络流量数据集的方法,其特征在于,在接收到服务器发送的部署命令后,响应于所述部署命令完成部署,并反馈给服务器之前,该方法还包括:客户端向服务器发送申请加入流量采集库的请求,以使服务器将申请的客户端加入流量采集库,并分发流量捕捉处理的相关模块以及部署命令至客户端。
3.根据权利要求2所述的一种基于客户端生成分布式真实网络流量数据集的方法,其特征在于,接收到服务器发送的部署命令后,响应于所述部署命令完成部署,并反馈给服务器包括:接收部署命令,并按照部署命令将流量捕捉处理的相关模块部署在自身上,在完成部署后,向服务器发送部署成功的通知。
4.根据权利要求3所述的一种基于客户端生成分布式真实网络流量数据集的方法,其特征在于,服务器在接收到部署成功的通知后,根据数据流采集需求,确定需要采集数据流的客户端类型、其对应的标号、产生数据流的会话开始时间、结束时间;按照确定的标号,向对应的客户发送携带会话开始时间的采集命令。
5.根据权利要求1所述的一种基于客户端生成分布式真实网络流量数据集的方法,其特征在于,所述在预设映射表与类型细分表中,确定五元组的同一目的IP包括:遍历预设映射表,提取五元组的目的IP;并将提取到的目的IP与类型细分表中的目的IP对比,确定相同目的IP的五元组,并将相应的应用程序标识与访问网址结合为新的标记。
6.根据权利要求3所述的一种基于客户端生成分布式真实网络流量数据集的方法,其特征在于,部署在客户端上的流量捕捉处理的相关模块包括:流量捕捉存储模块、映射表查询维护模块以及流量标记处理模块。
7.根据权利要求6所述的一种基于客户端生成分布式真实网络流量数据集的方法,其特征在于,客户端在按照采集命令携带的数据流的会话开始时间开始采集经过自身的数据包之前,启动流量捕捉存储模块,用于:按照采集命令携带的数据流的会话开始时间开始采集经过自身的数据包,当采集到的数据包达到预设的大小后,以固定格式进行存储;生成一个以五元组为key存储各数据包的hash字典;跟踪自身的当前会话变化,采集当前会话的五元组以及对应的应用程序标识,将采集当前会话的会话开始时间、五元组以及对应的应用程序标识保存至预设映射表;客户端在跟踪自身的当前会话变化之前,启动映射表查询维护模块,用于:跟踪自身的当前会话变化,采集当前会话的五元组以及对应的应用程序标识,将采集当前会话的会话开始时间、五元组以及对应的应用程序标识保存至预设映射表;接收服务器下发的记录不同目的IP对应的访问网址的类型细分表;在预设映射表与类型细分表中,确定五元组的同一目的IP;将相同IP对应的访问网址、应用程序标识作为五元组的新流量数据标记,加入至流量标记映射表中;客户端在将同一目的IP对应的访问网址、应用程序标识作为五元组的新流量数据标记,加入至流量标记映射表中之前,启动流量标记处理模块,用于:按照五元组与应用程序标识之间的映射关系,查询hash字典确定对应的数据流,进行标记;将携带标记的数据流按照不同的会话流定义进行切分,得到带有标记的会话流,并对会话流进行归一化处理,得到用应用程序标识和访问网址进行标记的网络流量数据集。
8.根据权利要求1所述的一种基于客户端生成分布式真实网络流量数据集的方法,其特征在于,所述将携带标记的数据流按照不同的会话流定义进行切分,得到带有标记的会话流,得到用应用程序标识和访问网址进行标记的网络流量数据集包括:将携带标记的数据流,按照TCP会话流和UDP会话流的定义进行切分;对切分得到的会话流进行归一化处理;针对归一化后数据包数量不够的会话流,对其进行补0,得到数据点;将所有数据点组成网络流量数据集。
9.根据权利要求1所述的一种基于客户端生成分布式真实网络流量数据集的方法,其特征在于,在将携带标记的数据流按照不同的会话流定义进行切分,得到带有标记的会话流,组成用应用程序标识和访问网址标记的网络流量数据集之后,该方法还包括:使用联邦学习方法,利用分布在各客户端的网络流量数据集进行学习训练,得到训练模型,并将训练模型的参数上传至服务器,以使服务器将多个客户端上传的参数进行平均,将平均结果反馈至客户端,客户端完成按照平均结果对自身训练模型进行再训练的过程,最终得到一个结合多方客户端的网络流量数据集而训练好的模型。
10.一种基于客户端生成分布式真实网络流量数据集的系统,其特征在于,实现权利要求1至9任一项所述的一种基于客户端生成分布式真实网络流量数据集的方法。