有效
神经网络信息转换方法和系统
裴京、吴臻志、施路平、邓磊
北京灵汐科技有限公司
摘要
本发明涉及一种神经网络信息转换方法和系统,所述方法包括:接收前继神经元输入的神经元输入信息,包括接收前继人工神经元输入的人工神经元输入信息,或接收前继脉冲神经元输入的脉冲神经元输入信息;根据所述前继人工神经元输入的所述人工神经元输入信息,通过预设的人工信息转换算法,将所述人工神经元输入信息转换为脉冲神经元转换信息;或根据所述脉冲神经元输入信息,通过预设的脉冲信息转换算法,将所述脉冲神经元输入信息转换为人工神经元转换信息;输出所述脉冲神经元转换信息或所述人工神经元转换信息。本发明实现了在一个神经网络中,同时兼容两种不同的神经元信息的方式,提高了神经网络的信息处理能力。
1.一种混合神经网络任务处理方法,其特征在于,所述方法包括:控制前继神经元输出需要后继神经元处理的神经元输入信号,其中,所述前继神经元为前继人工神经元,且所述后继神经元为后继脉冲神经元;或者,所述前继神经元为前继脉冲神经元,且所述后继神经元为后继人工神经元;通过计算核进行神经网络信息转换;以及,控制后继神经元处理经过转换后的神经元输入信号,其中,所述经过转换后的神经元输入信号为脉冲神经元转换信息或人工神经元转换信息;其中,通过计算核进行神经网络信息转换包括:通过预定的第一计算核接收前继人工神经元输入的人工神经元输入信息,其中,所述人工神经元输入信息为多比特无时间深度的膜电位信号;通过预定的第一计算核,根据所述前继人工神经元输入的所述人工神经元输入信息,通过预设的人工信息转换算法,将所述人工神经元输入信息转换为脉冲神经元转换信息;以及,通过预定的第一计算核,输出所述脉冲神经元转换信息;或者,通过预定的第二计算核接收前继脉冲神经元输入的脉冲神经元输入信息,其中,所述脉冲神经元输入信息为1比特且带有时间深度的脉冲尖峰信号;通过预定的第二计算核,根据所述脉冲神经元输入信息,通过预设的脉冲信息转换算法,将所述脉冲神经元输入信息转换为人工神经元转换信息;以及,通过所述第二计算核输出所述人工神经元转换信息;其中,所述根据所述前继人工神经元输入的所述人工神经元输入信息,通过预设的人工信息转换算法,将所述人工神经元输入信息转换为脉冲神经元转换信息,包括:判断所述人工神经元输入信息的输入模式,当所述输入模式为持续输入时,利用第一转换模式将所述人工神经元输入信息转换为第一脉冲神经元转换信息,则所述输出所述脉冲神经元转换信息,包括:输出所述第一脉冲神经元转换信息;其中,所述当所述输入模式为持续输入时,利用第一转换模式将所述人工神经元输入信息转换为第一脉冲神经元转换信息,包括:将第一时间窗等间隔划分为多个时间步;在所述第一时间窗内的第一个时间步,当所述人工神经元输入信息大于等于脉冲发射阈值时,发射脉冲尖峰信息,并根据所述人工神经元输入信息和发射递减值,获取神经元发射后信息;当所述人工神经元输入信息小于所述脉冲发射阈值时,不发射脉冲尖峰信息,并将所述人工神经元输入信息确定为神经元未发射信息;将所述神经元发射后信息或所述神经元未发射信息,确认为所述第一个时间步的神经元中间信息;在所述第一时间窗内的后续各时间步,分别根据所述人工神经元输入信息、前一个时间步的所述神经元中间信息、所述脉冲发射阈值和所述发射递减值,判断是否发射脉冲尖峰信息;将所述第一时间窗内发射的所有脉冲尖峰信息,确定为第一脉冲神经元转换信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述前继人工神经元输入的所述人工神经元输入信息,通过预设的人工信息转换算法,将所述人工神经元输入信息转换为脉冲神经元转换信息,还包括:当所述输入模式为单次输入时,利用第二转换模式将所述人工神经元输入信息转换为第二脉冲神经元转换信息,则所述输出所述脉冲神经元转换信息,包括:输出所述第二脉冲神经元转换信息。
3.根据权利要求1所述的方法,其特征在于,所述根据所述人工神经元输入信息、前一个时间步的所述神经元中间信息、所述脉冲发射阈值和所述发射递减值,判断是否发射脉冲尖峰信息,包括:将所述人工神经元输入信息和所述前一个时间步的所述神经元中间信息进行累加,获取当前时间步的神经元累加信息;当所述当前时间步的神经元累加信息大于等于预设的脉冲发射阈值时,发射脉冲尖峰信息,并将所述当前时间步的神经元累加信息减去预设的发射递减值,获取当前时间步的神经元发射后信息;当所述当前时间步的神经元累加信息小于所述预设的脉冲发射阈值时,不发射脉冲尖峰信息,并将所述当前时间步的神经元累加信息确定为当前时间步的神经元未发射信息。
4.根据权利要求2所述的方法,其特征在于,所述当所述输入模式为单次输入时,利用第二转换模式将所述人工神经元输入信息转换为第二脉冲神经元转换信息,包括:根据所述人工神经元输入信息和第二时间窗,确定所述第二时间窗内的第四时长,所述第四时长用于限定发送脉冲尖峰信息的时间;在所述第四时长内发射脉冲尖峰信息,并将所述第二时间窗内所有的所述脉冲尖峰信息确认为第二脉冲神经元转换信息。
5.根据权利要求4所述的方法,其特征在于,所述在所述第四时长内发射脉冲尖峰信息,包括:在所述第四时长内连续发射脉冲尖峰信息。
6.根据权利要求1所述的方法,其特征在于,所述根据所述脉冲神经元输入信息,通过预设的脉冲信息转换算法,将所述脉冲神经元输入信息转换为人工神经元转换信息,包括:获取转换时间步;在所述转换时间步持续时长内,接收所述前继脉冲神经元输入的脉冲神经元输入信息,所述脉冲神经元输入信息包括脉冲尖峰信息;根据所述前继脉冲神经元输入的所述脉冲尖峰信息,通过预设的脉冲转换算法,获取人工神经元转换信息;输出所述人工神经元转换信息。
7.根据权利要求6所述的方法,其特征在于,所述根据所述前继脉冲神经元输入的所述脉冲尖峰信息,通过预设的脉冲转换算法,获取人工神经元转换信息,包括:将所述前继脉冲神经元输入的脉冲尖峰信息的数量进行累计,获取所述前继脉冲神经元输入的脉冲尖峰信息的第一总数量;将所述前继脉冲神经元输入的脉冲尖峰信息的第一总数量,确定为所述时间步的,所述前继脉冲神经元输入的第一人工神经元转换信息。
8.根据权利要求6所述的方法,其特征在于,所述接收前继脉冲神经元输入的脉冲神经元输入信息,还包括:接收至少两个所述前继脉冲神经元分别输入的脉冲神经元输入信息;则所述根据所述前继脉冲神经元输入的所述脉冲尖峰信息,通过预设的脉冲转换算法,获取人工神经元转换信息,还包括:将所有所述前继脉冲神经元输入的脉冲尖峰信息的数量进行累计,获取所有所述前继脉冲神经元输入的脉冲尖峰信息的第二总数量;将所有所述前继脉冲神经元输入的脉冲尖峰信息的第二总数量,确定为所述时间步的,所有所述前继脉冲神经元输入的第二人工神经元转换信息。
9.根据权利要求6所述的方法,其特征在于,所述脉冲神经元输入信息,还包括:前继脉冲神经元与当前神经元的连接权重索引;所述根据所述前继脉冲神经元输入的所述脉冲尖峰信息,通过预设的脉冲转换算法,获取人工神经元转换信息,还包括:根据所述前继脉冲神经元与当前神经元的连接权重索引,读取前继脉冲神经元与当前神经元的连接权重信息;根据所述前继脉冲神经元与当前神经元的连接权重信息,和所述前继脉冲神经元输入的所述脉冲尖峰信息,获取所述前继脉冲神经元的带权重脉冲尖峰信息;根据所述前继脉冲神经元的带权重脉冲尖峰信息,通过预设的脉冲转换算法,获取第三人工神经元转换信息。
10.一种混合神经网络任务处理系统,其特征在于,包括:第一控制块,用于控制前继神经元输出需要后继神经元处理的神经元输入信号,其中,所述前继神经元为前继人工神经元,且所述后继神经元为后继脉冲神经元;或者,所述前继神经元为前继脉冲神经元,且所述后继神经元为后继人工神经元;转换块,用于通过计算核进行神经网络信息转换;以及,第二控制块,用于控制后继神经元处理经过转换后的神经元输入信号,其中,所述经过转换后的神经元输入信号为脉冲神经元转换信息或人工神经元转换信息;其中,所述转换块包括:神经元输入信息获取模块,用于通过预定的第一计算核接收前继人工神经元输入的人工神经元输入信息,以及,通过预定的第二计算核接收前继脉冲神经元输入的脉冲神经元输入信息,其中,所述人工神经元输入信息为多比特无时间深度的膜电位信号,所述脉冲神经元输入信息为1比特且带有时间深度的脉冲尖峰信号;人工转脉冲模块,用于通过预定的第一计算核,根据所述前继人工神经元输入的所述人工神经元输入信息,通过预设的人工信息转换算法,将所述人工神经元输入信息转换为脉冲神经元转换信息;脉冲转人工模块,用于通过预定的第二计算核,根据所述脉冲神经元输入信息,通过预设的脉冲信息转换算法,将所述脉冲神经元输入信息转换为人工神经元转换信息;神经元转换信息输出模块,用于通过所述第一计算核输出所述脉冲神经元转换信息,以及,通过所述第二计算核输出所述人工神经元转换信息;其中,所述人工转脉冲模块,包括:输入模式判断模块,用于判断所述人工神经元输入信息的输入模式;第一转换模块,用于当所述输入模式为持续输入时,利用第一转换模式将所述人工神经元输入信息转换为第一脉冲神经元转换信息;所述神经元转换信息输出模块,包括脉冲神经元信息输出模块,所述脉冲神经元信息输出模块,用于输出所述第一脉冲神经元转换信息;其中,所述第一转换模块,包括:时间步划分单元,用于将第一时间窗等间隔划分为多个时间步;第一时间步处理单元,用于在所述第一时间窗内的第一个时间步,当所述人工神经元输入信息大于等于脉冲发射阈值时,发射脉冲尖峰信息,并根据所述人工神经元输入信息和发射递减值,获取神经元发射后信息;当所述人工神经元输入信息小于所述脉冲发射阈值时,不发射脉冲尖峰信息,并将所述人工神经元输入信息确定为神经元未发射信息;将所述神经元发射后信息或所述神经元未发射信息,确认为所述第一个时间步的神经元中间信息;后续时间步处理单元,用于在所述第一时间窗内的后续各时间步,分别根据所述人工神经元输入信息、前一个时间步的所述神经元中间信息、所述脉冲发射阈值和所述发射递减值,判断是否发射脉冲尖峰信息;第一脉冲神经元转换信息确定单元,用于将所述第一时间窗内发射的所有脉冲尖峰信息,确定为第一脉冲神经元转换信息。
11.根据权利要求10所述的混合神经网络任务处理系统,其特征在于,所述人工转脉冲模块,还包括:第二转换模块,用于当所述输入模式为单次输入时,利用第二转换模式将所述人工神经元输入信息转换为第二脉冲神经元转换信息;则所述脉冲神经元信息输出模块,还用于输出第二脉冲神经元转换信息。
12.根据权利要求10所述的混合神经网络任务处理系统,其特征在于:所述后续时间步处理单元,用于将所述人工神经元输入信息和所述前一个时间步的所述神经元中间信息进行累加,获取当前时间步的神经元累加信息;当所述当前时间步的神经元累加信息大于等于预设的脉冲发射阈值时,发射脉冲尖峰信息,并将所述当前时间步的神经元累加信息减去预设的发射递减值,获取当前时间步的神经元发射后信息;当所述当前时间步的神经元累加信息小于所述预设的脉冲发射阈值时,不发射脉冲尖峰信息,并将所述当前时间步的神经元累加信息确定为当前时间步的神经元未发射信息。
13.根据权利要求11所述的混合神经网络任务处理系统,其特征在于:所述第二转换模块,用于根据所述人工神经元输入信息和第二时间窗,确定所述第二时间窗内的第四时长,所述第四时长用于限定发送脉冲尖峰信息的时间;在所述第四时长内发射脉冲尖峰信息,并将所述第二时间窗内所有的所述脉冲尖峰信息确认为第二脉冲神经元转换信息。
14.根据权利要求13所述的混合神经网络任务处理系统,其特征在于,所述在所述第四时长内发射脉冲尖峰信息,包括:在所述第四时长内连续发射脉冲尖峰信息。
15.根据权利要求10所述的混合神经网络任务处理系统,其特征在于,所述脉冲转人工模块,包括:转换时间步获取模块,用于获取转换时间步;脉冲神经元输入信息获取模块,用于在所述转换时间步的持续时长内,接收前继脉冲神经元输入的脉冲神经元输入信息,所述脉冲神经元输入信息包括脉冲尖峰信息;人工神经元转换信息获取模块,用于根据所述前继脉冲神经元输入的所述脉冲尖峰信息,通过预设的脉冲转换算法,获取人工神经元转换信息;则所述神经元转换信息输出模块包括:人工神经元转换信息输出模块,所述人工神经元转换信息输出模块,用于输出所述人工神经元转换信息。
16.根据权利要求15所述的混合神经网络任务处理系统,其特征在于,所述人工神经元转换信息获取模块,包括:前继脉冲神经元脉冲尖峰信息获取单元,用于将所述前继脉冲神经元输入的脉冲尖峰信息的数量进行累计,获取所述前继脉冲神经元输入的脉冲尖峰信息的第一总数量;第一人工神经元转换信息获取单元,用于将所述前继脉冲神经元输入的脉冲尖峰信息的第一总数量,确定为所述时间步的,所述前继脉冲神经元输入的第一人工神经元转换信息。
17.根据权利要求15所述的混合神经网络任务处理系统,其特征在于:所述转换时间步获取模块,还用于接收至少两个所述前继脉冲神经元分别输入的脉冲神经元输入信息;则所述人工神经元转换信息获取模块,还包括:多前继脉冲神经元脉冲尖峰信息获取单元,用于将所有所述前继脉冲神经元输入的脉冲尖峰信息的数量进行累计,获取所有所述前继脉冲神经元输入的脉冲尖峰信息的第二总数量;第二人工神经元转换信息获取单元,用于将所有所述前继脉冲神经元输入的脉冲尖峰信息的第二总数量,确定为所述时间步的,所有所述前继脉冲神经元输入的第二人工神经元转换信息。
18.根据权利要求15所述的混合神经网络任务处理系统,其特征在于,所述脉冲神经元输入信息,还包括:前继脉冲神经元与当前神经元的连接权重索引;所述人工神经元转换信息获取模块,还包括:带权重前继脉冲神经元获取单元,用于根据所述前继脉冲神经元与当前神经元的连接权重索引,读取前继脉冲神经元与当前神经元的连接权重信息;根据所述前继脉冲神经元与当前神经元的连接权重信息,和所述前继脉冲神经元输入的所述脉冲尖峰信息,获取所述前继脉冲神经元的带权重脉冲尖峰信息;第三人工神经元转换信息获取单元,用于根据所述前继脉冲神经元的带权重脉冲尖峰信息,通过预设的脉冲转换算法,获取第三人工神经元转换信息。




