基于深度强化学习的多智能体协同控制方法、系统及介质

1.一种基于深度强化学习的多智能体协同控制方法，其特征在于，用于包括多个智能体的多智能体系统，每个所述智能体都设置Actor网络和Critic网络以用于生成动作和评估动作的好坏，包括：初始化步骤：各个智能体获取初始化当前状态，将当前状态输入Actor网络，生成相应的当前动作，由环境返回给智能体当前状态执行所述当前动作所获得的奖励和转移到的下一状态；初始化经验缓冲池，所述经验缓冲池用于记录所有智能体的经验；智能体初始化代表所述当前动作的轨迹的重要程度的采样概率，并将所述当前动作的轨迹数据和所述当前动作的轨迹重要程度储存到所述经验缓冲池中；数据采集步骤：智能体按经验的重要程度，从所述经验缓冲池中选取预设数量个批次具有重要程度超过预设阈值的轨迹；模型更新步骤：基于所述经验缓冲池中的经验数据，更新每个所述智能体的所述Actor网络和所述Critic网络，其中，每个智能体的Critic网络观察整个所述多智能体系统的情况，所述Critic网络指导所述Actor网络的训练更新；数据更新步骤：所述智能体利用已更新的所述Actor网络和所述Critic网络与环境交互得到一条轨迹，并计算出当前轨迹的重要程度，然后用所述当前轨迹和对应的重要程度更新所述经验缓冲池。 2.根据权利要求1所述的一种基于深度强化学习的多智能体协同控制方法，其特征在于，所述智能体获取初始化当前状态，将当前状态输入Actor网络，生成相应的当前动作之前，还包括：对深度强化学习模型的建模，所述深度强化学习模型的建模由一个七元组组成＜N,S,O,A,R,P,γ＞，其中：N表示智能体的集合，N＝{1,2,...n}；S表示智能体的联合状态空间；A表示所有智能体的联合动作空间，A＝{A 1 ,A 2 ,...,A n }，A n 表示智能体n所采取的动作空间；O表示智能体的观测集合；R表示智能体的奖励函数，r(s t ,a t )∈R表示智能体在t时刻状态下执行动作所获得的奖励；P表示状态转移概率函数；γ表示折扣因子，γ∈[0,1]其值越小表示越看中即时奖励，值越大表示越看中未来奖励。 3.根据权利要求1所述的一种基于深度强化学习的多智能体协同控制方法，其特征在于，所述智能体利用已更新的所述Actor网络和所述Critic网络与环境交互得到一条轨迹，具体包括：从执行一目标任务的多个所述智能体中确定一目标智能体；根据所述Actor网络的一价值函数为所述多个智能体中的目标智能体从已更新的策略集中获取目标轨迹及目标轨迹的期望动作，以控制所述目标智能体执行期望动作，其中，期望动作为从策略集中调用相应的至少一策略对应的动作；其中，所述价值函数与对应的所述目标智能体的激励价值函数、以及所述多个智能体中除所述目标智能体之外的其他智能体相对所述目标智能体的交互价值函数相关，其中，所述目标智能体的激励价值函数为所述目标智能体的外在激励价值函数与内在激励价值函数之和，所述交互价值函数与转移之后的所述多个智能体中的除所述目标智能体之外的其他智能体的动作-价值函数与忽略所述智能体的状态和动作的条件下经反事实计算得到的动作-价值函数的期望差相关。 4.根据权利要求3所述的一种基于深度强化学习的多智能体协同控制方法，其特征在于，所述根据所述Actor网络的一价值函数为所述多个智能体中的目标智能体从已更新的策略集中获取所述目标轨迹的期望动作，包括：确定所述多个智能体中的目标智能体的交互价值函数；根据所述交互价值函数和所述激励价值函数确定所述目标智能体的价值函数；根据所述价值函数，从所述策略集中获得一策略对应期望动作，根据所述策略控制所述目标智能体执行所述期望动作。 5.根据权利要求1所述的一种基于深度强化学习的多智能体协同控制方法，其特征在于，所述每个智能体的Critic网络观察整个所述多智能体系统的情况，还包括，所述每个智能体的Critic网络观察其他所述智能体的动作以及状态；所述Critic网络指导所述Actor网络的训练，具体包括：每个所述智能体的Actor网络根据所述智能体的局部观测和所述智能体的Critic网络的反馈进行策略更新，其中，所述Critic网络提供准确的确定性的联合动作值估计，以指导Actor网络的训练更新。 6.根据权利要求5所述的一种基于深度强化学习的多智能体协同控制方法，其特征在于:所述Critic网络的更新具体为：所有智能体的策略集合为π i ＝{π 1 ,π 2 ,...,π n }，并且智能体i的期望收益回报J[θ i ]＝E[R i ]，如公式所示：其中，p μ 是智能体的状态分布， 是一个确定性的联合动作值函数，它的输入为所有智能体的联合动作(a 1 ,...,a N )和联合观察x＝(o 1 ,...,o N )，输出一个Q值。考虑N个智能体的连续策略μ i ，并将其扩展为确定性策略，策略梯度如公式所示：其中，D是所述经验缓冲池；所述确定性的联合动作值函数 的更新方式如下公式所示： 7.根据权利要求1所述的一种基于深度强化学习的多智能体协同控制方法，其特征在于：对于每个智能体在执行完所述数据更新步骤之后，按预设的训练回合数继续依次循环执行所述数据采集步骤、模型更新步骤以及所述数据更新步骤，直至达到所述训练回合数，则更新所述多智能体系统的目标网络参数。 8.根据权利要求3所述的一种基于深度强化学习的多智能体协同控制方法，其特征在于：所述根据所述Actor网络的一价值函数为所述多个智能体中的目标智能体从已更新的策略集中获取目标轨迹及目标轨迹的期望动作，之前还包括：采用内在动机模型和所述Actor网络的一价值函数为所述多个智能体中的目标智能体从已更新的策略集中获取目标轨迹及目标轨迹的期望动作，其中，所述内在动机模型包括三个神经网络：一个是设置预测问题的固定目标网络，一个是根据智能体收集的数据进行训练的预测网络，另一个是策略网络，其中所述固定的目标网络为给定的状态生成常量输出，所述预测网络用于预测目标网络的输出，策略网络决定智能体的下一步行动。 9.一种基于深度强化学习的多智能体协同控制系统，其特征在于，用于包括多个智能体的多智能体系统，每个所述智能体都设置Actor网络和Critic网络以用于生成动作和评估动作的好坏，包括：初始化模块，用于各个智能体获取初始化当前状态，将当前状态输入Actor网络，生成相应的当前动作，由环境返回给智能体当前状态执行所述当前动作所获得的奖励和转移到的下一状态；初始化经验缓冲池，所述经验缓冲池用于记录所有智能体的经验；智能体初始化代表所述当前动作的轨迹的重要程度的采样概率，并将所述当前动作的轨迹数据和所述当前动作的轨迹重要程度储存到所述经验缓冲池中；数据采集模块：用于智能体按经验的重要程度，从所述经验缓冲池中选取预设数量个批次具有重要程度超过预设阈值的轨迹；模型更新模块：用于基于所述经验缓冲池中的经验数据，更新每个所述智能体的所述Actor网络和所述Critic网络，其中，每个智能体的Critic网络观察整个所述多智能体系统的情况，所述Critic网络指导所述Actor网络的训练更新；数据更新模块：用于所述智能体利用已更新的所述Actor网络和所述Critic网络与环境交互得到一条轨迹，并计算出当前轨迹的重要程度，然后用所述当前轨迹和对应的重要程度更新所述经验缓冲池。 10.一种计算机可读存储介质，其特征在于：存储介质中存储有指令，所述指令运行时执行如权利要求1-8中任一项所述的一种基于深度强化学习的多智能体协同控制方法。