有效
基于可重构计算的数据处理方法、装置、设备及存储介质
管小娟、马媛媛、邵志鹏、周诚、张波、李伟伟、席泽生、汪晨、朱胜、李晨、解思江、要天乐
国网智能电网研究院有限公司
管
管小娟 专利 79
国网智能电网研究院有限公司H04L29/00数字信息传输电通信技术
马
马媛媛 专利 170
山东大学H04L29/00安全通信计算机安全
邵
邵志鹏 专利 159
国网电力科学研究院有限公司安全通信H04L29/00计算机安全
周
周诚 专利 106
中国电力科学研究院有限公司H04L29/00数字信息传输电通信技术
张
张波 专利 122
国网智能电网研究院有限公司H04L29/00安全通信数字信息传输
李
李伟伟 专利 86
中国电力科学研究院有限公司H04L29/00数字信息传输电通信技术
席
席泽生
机构 暂无技术领域 暂无
汪
汪晨 专利 115
国网智能电网研究院有限公司H04L29/00数字信息传输电通信技术
朱
朱胜
机构 暂无技术领域 暂无
李
李晨 专利 12
国网北京市电力公司物理仪器计算技术电子数据处理
解
解思江
机构 暂无技术领域 暂无
要
要天乐
机构 暂无技术领域 暂无
摘要
本发明公开了一种基于可重构计算的数据处理方法、装置、设备及存储介质,其中,所述方法包括:将当前待处理任务的任务节点放入待调度的任务节点表;对所述待调度的任务节点表中的任务节点进行聚簇划分,得到K个簇,K为正整数;将所述K个簇分别映射到可重构处理单元,以并行处理所述当前待处理任务。本发明提供的技术方案,能够提高可重构计算模块中的冗余单元的利用率,进而提升数据处理效率。
1.一种基于可重构计算的数据处理方法,其特征在于,所述方法包括:将当前待处理任务的任务节点放入待调度的任务节点表;对所述待调度的任务节点表中的任务节点进行聚簇划分,得到K个簇,K为正整数;将所述K个簇分别映射到可重构处理单元,以并行处理所述当前待处理任务;所述将所述K个簇分别映射到可重构处理单元,包括:针对每一所述簇中的每一所述任务节点,分别从预先存储的配置信息中,调取完成所述任务节点所需的目标配置信息;对所述目标配置信息进行解析,并映射至所述可重构处理单元;其中,所述目标配置信息为多层次结构的配置信息,所述多层次结构的配置信息,包括:第一层配置信息,用于调度可重构处理单元组中的所述可重构处理单元;第二层配置信息,包括所述可重构处理单元的配置信息、所述可重构处理单元内部的数据交互信息、所述可重构处理单元输入数据的配置信息和所述可重构处理单元输出数据的配置信息;第三层配置信息,包括可重构计算阵列的配置信息、所述可重构计算阵列间的数据交互信息、所述可重构计算阵列输入数据的配置信息和所述可重构计算阵列输出数据的配置信息;第四层配置信息,包括可重构单元的配置信息。
2.根据权利要求1所述的方法,其特征在于,所述将所述K个簇映射分别映射到可重构处理单元,包括:若K≤N,则直接一一对应映射;若K>N,则先映射N个簇,其他的K-N个簇,根据所述可重构处理单元的运行状态逐个进行映射,直至处理完毕;其中,N为所述可重构处理单元的数量。
3.根据权利要求1所述的方法,其特征在于,所述将所述K个簇分别映射到可重构处理单元,包括:针对每个簇,若所述簇中包括多个任务节点,则根据所述多个任务节点的相关度、执行时间的预估值和数据传输时间的预估值,对所述多个任务节点进行优先级排序;按照所述优先级,依次将所述多个任务节点的待处理数据加载到所述簇映射的所述可重构处理单元中的不同可重构计算阵列进行流水处理,直至所述簇中的所述多个任务节点被处理完毕。
4.根据权利要求1所述的方法,其特征在于,所述对所述待调度的任务节点表中的任务节点进行聚簇划分,得到K个簇,包括:S201:获取所述任务节点的K0个原始簇和所述原始簇的中心;S202:计算每一所述任务节点与各个所述原始簇的中心的距离;S203:将所述任务节点放入所述距离最小的所述原始簇中;S204:根据所述原始簇中的所述任务节点在两维属性上的众数确定所述原始簇的新的中心;所述两维属性包括完成所述任务节点所需的目标配置信息和所述任务节点的待处理数据;重复步骤S202-S204,直至所述原始簇中的所述任务节点不再变化,将K0个所述原始簇中具有所述任务节点的K个原始簇确定为最终的簇。
5.根据权利要求4所述的方法,其特征在于,所述获取所述任务节点的K0个原始簇和所述原始簇的中心,包括:S301:根据所述任务节点表中的所述任务节点在两维属性上的众数,确定第一个原始簇的中心;S302:计算每一第一任务节点与已确定的原始簇的中心的距离;所述第一任务节点为尚未作为所述原始簇的中心的所述任务节点;S303:从所述第一任务节点中选择平均距离最大的所述任务节点作为一个新的原始簇的中心;所述平均距离是指一个所述第一任务节点到各个所述原始簇的中心的距离的平均值;重复步骤S302-S303,直至得到K0个所述原始簇的中心。
6.根据权利要求4所述的方法,其特征在于,所述获取所述任务节点的K0个原始簇和所述原始簇的中心,包括:S401:从所述任务节点表中的所述任务节点中选取部分所述任务节点作为第二任务节点;S402:定义一个原始簇,每次定义的原始簇不同;S403:从当前未被聚簇的所述第二任务节点中任意选择一个所述第二任务节点作为起始节点;S404:将所述起始节点放入所述原始簇;S405:判断当前未被聚簇的所述第二任务节点中,是否存在第三任务节点,所述第三任务节点为与所述原始簇中的第四任务节点的距离小于或等于预设阈值的所述第二任务节点;其中,所述第四任务节点为最新加入所述原始簇的所述第二任务节点;S406:若存在所述第三任务节点,则将所述第三任务节点放入所述原始簇,根据所述原始簇中当前存在的所述第二任务节点的相异度的平均值更新所述预设阈值,得到新的所述预设阈值,并转入步骤S405;若不存在所述第三任务节点,则转入步骤S402,直至所有的所述第二任务节点均被加入对应的所述原始簇,得到K0个所述原始簇。
7.根据权利要求1所述的方法,其特征在于,所述将当前待处理任务的任务节点放入待调度的任务节点表之前,还包括:获取待处理数据;对所述待处理数据进行解析;判断解析后的所述待处理数据是否是基于网络安全协议的业务数据,并判断解析后的所述待处理数据所采用的国密算法的种类、或所需采用的国密算法的种类,得到判断结果;基于所述判断结果确定所述待处理任务。
8.根据权利要求1所述的方法,其特征在于,所述预先存储的配置信息包括国密算法的配置信息和针对网络数据的非国密算法的配置信息,所述网络数据是基于网络安全协议的业务数据。
9.根据权利要求1所述的方法,其特征在于,所述预先存储的配置信息中,算子的配置信息均采用索引进行存储;算子的配置信息相同,则存储所使用的所述索引相同,且所述索引与对应的配置信息关联存储。
10.根据权利要求1所述的方法,其特征在于,所述从预先存储的配置信息中,调取完成所述任务节点所需的目标配置信息之前,还包括:分别获取各种网络安全协议的业务流程、分别获取多种国密算法的软件实现流程,并分别对算法核心进行剖析,形成最终可直接映射的软件代码;将所述软件代码转换为有向的数据流图,并使得所述数据流图中的每一算子均可以映射到可重构计算阵列的一个可重构单元;确定所述数据流图的映射算法,得到所述配置信息。
11.根据权利要求10所述的方法,其特征在于,所述对算法核心进行剖析,包括:对算法中的循环体进行展开;对算法中的分支操作进行改写。
12.根据权利要求10所述的方法,其特征在于,所述数据流图的映射算法为:若所述数据流图映射所需要占用的可重构单元数小于或等于一个可重构计算阵列中的可重构单元的数量,则直接将所述数据流图映射至一个所述可重构计算阵列;若所述数据流图映射所需占用的可重构单元数大于一个可重构计算阵列中的可重构单元的数量,则将所述数据流图进行划分,通过算法的流水线进行交织处理。
13.根据权利要求9所述的方法,其特征在于,所述对所述目标配置信息进行解析,包括:根据所述算子的配置信息的索引,对所述第四层配置信息进行赋值填充;基于赋值填充后的所述第四层配置信息,依次得到所述第三层配置信息和所述第二层配置信息。
14.一种基于可重构计算的数据处理装置,其特征在于,所述装置包括:建表模块,用于将当前待处理任务的任务节点放入待调度的任务节点表;划分模块,用于对所述待调度的任务节点表中的任务节点进行聚簇划分,得到K个簇,K为正整数;映射模块,用于将所述K个簇分别映射到可重构处理单元,以并行处理所述当前待处理任务所述映射模块,包括:配置信息调度单元,用于针对每一所述簇中的每一所述任务节点,分别从预先存储的配置信息中,调取完成所述任务节点所需的目标配置信息;配置信息解析映射单元,用于对所述目标配置信息进行解析,并映射至所述可重构处理单元;其中,所述目标配置信息为多层次结构的配置信息,所述多层次结构的配置信息,包括:第一层配置信息,用于调度可重构处理单元组中的所述可重构处理单元;第二层配置信息,包括所述可重构处理单元的配置信息、所述可重构处理单元内部的数据交互信息、所述可重构处理单元输入数据的配置信息和所述可重构处理单元输出数据的配置信息;第三层配置信息,包括可重构计算阵列的配置信息、所述可重构计算阵列间的数据交互信息、所述可重构计算阵列输入数据的配置信息和所述可重构计算阵列输出数据的配置信息;第四层配置信息,包括可重构单元的配置信息。
15.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现权利要求1至13中任一项所述的基于可重构计算的数据处理方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器执行时,实现权利要求1至13中任一项所述的基于可重构计算的数据处理方法。



