一种面向受限通信的复杂场景下多机器人避障方法

1.一种面向受限通信的复杂场景下多机器人避障方法，其特征在于包括以下步骤：第一步，构建通信受限的多机器人导航避障系统；该系统由一个云端服务器节点、N个机器人节点组成；云端服务器节点与N个机器人节点相连，N为正整数；机器人节点指能够运动、观测、通信、具有软件运行能力的机器人；每个机器人节点上均部署有两个通信模块即第一通信模块、第二通信模块、探测模块、第一存储模块、动作生成模块、运动模块、第一优化模块；探测模块是能采集复杂场景环境数据的传感器；机器人节点i的探测模块与机器人节点i的第一存储模块和动作生成模块相连，1≤i≤N，探测模块每隔α秒周期性地对传感器可见范围内的应用场景和除机器人节点i以外的另N-1台机器人节点进行拍摄或扫描，得到机器人自身观测、传感器级别观测和智能体级别观测，并将这些应用场景状态发送给机器人节点i的第一存储模块和动作生成模块；所述机器人自身观测包括机器人的位置、速度和朝向，所述传感器级别观测指传感器输出的距离信息，所述智能体级别观测指其他机器人位置和速度；动作生成模块负责制定和优化避障策略，并根据与避障策略向运动模块发送动作指令；机器人节点i的动作生成模块与机器人节点i的探测模块、第一存储模块、运动模块、第二通信模块、第一优化模块相连；动作生成模块由第一策略网络，第二策略网络，第一通信信道，相关度生成器和消息选择器组成；第一策略网络与探测模块、相关度生成器、第一通信信道相连，第一策略网络由第一卷积层、第二卷积层和第一全连接层、第二全连接层组成；第一卷积层从探测模块接收传感器级别观测和机器人节点i自身观测，并对传感器级别观测进行卷积操作，将卷积操作后的传感器级别观测传给第二卷积层；第二卷积层对卷积操作后的传感器级别观测进行卷积操作，并将第二次卷积操作后的传感器级别观测与机器人自身观测坐标信息进行拼接，将拼接好的激光扫描观测传给第一全连接层；第一全连接层、第二全连接层依次对拼接好的传感器级别观测进行全连接操作，由第二全连接层向相关度生成器、第一通信信道输出128维的通信消息；相关度生成器与第一策略网络、消息选择器、探测模块、第一存储模块相连，是全连接层，用于将从第一策略网络接收的机器人节点i的通信消息和从探测模块得到的其他机器人的智能体级别信息进行编码，生成其他机器人相对于机器人节点i的相关度，将相关度发送给消息选择器；消息选择器与相关度生成器、第二通信模块和第一通信信道相连；消息选择器从第二通信模块接收来自其他机器人的消息，从相关度生成器得到其他机器人相对于机器人节点i的相关度，根据其他机器人相对于机器人节点i的相关度从来自其他机器人的消息中筛选出最相关的消息，将最相关的消息发送给第一通信信道；第一通信信道与第一策略网络、消息选择器和第二策略网络相连，由注意力机制实现，是三个全连接网络；第一通信信道从第一策略网络接收机器人节点i产生的消息，从消息选择器接收最相关的消息，将机器人节点i产生的消息和最相关的消息整合成其他机器人对机器人节点i的256维影响向量，将影响向量发送给第二策略网络；第二策略网络与第一通信信道、运动模块、第一存储模块相连，由两个全连接层组成，来自第一通信信道的影响向量依次输入两个全连接层，映射为动作指令，输出给运动模块和第一存储模块；动作生成模块的第二策略网络将更新后的第一策略网络、相关度生成器、第一通信信道和第二策略网络组成中的参数保存生成第一.pth格式文件，将第一.pth格式文件发送给第一通信模块；机器人节点i的第一存储模块与机器人节点i的探测模块、动作生成模块、第二通信模块和第一优化模块相连；从探测模块接收应用场景状态即机器人自身观测、传感器级别观测和智能体级别观测，从第二通信模块接收其他所有机器人的消息，从动作生成模块接收当前时刻的动作；第一存储模块中有第一经验回放池和第二经验回放池；第一经验回放池存放机器人节点i的第一轨迹信息；第一轨迹信息以五元组的形式存放，五元组包含当前时刻的观测、通信消息、动作、环境反馈的奖励以及下个时刻的观测；机器人节点i的第t条第一轨迹信息的格式表示为 其中， 表示机器人节点i的探测模块第t步观察到的应用场景状态， 涵盖第t个时间步观察到的传感器级别观测、自身的速度、位置和目标点坐标，以及除机器人节点i以外的另N-1台机器人节点的速度和位置； 表示其他所有机器人的消息组成的集合； 表示机器人节点i的探测模块在第t次观测后，机器人节点i所采取的行动，表现为机器人节点i的线速度和角速度；机器人节点i在执行行动时自动记录 是机器人节点i的探测模块在第t+1次观察前，对于第t次观察到的导航与避障场景状态的任务完成度进行评价的得分； 表示机器人节点i的探测模块第t+1次观察到的复杂场景状态， 主要涵盖第t+1次观察到的激光雷达数据，自身的速度，位置和目标点坐标，以及除机器人节点i以外的另N-1台机器人节点的速度和位置； 为由 经过行为a t 后所得到的新应用场景观察到的激光雷达数据；第二经验回放池存储机器人节点i相对于机器人节点j的第二轨迹信息，1≤j≤N且j≠i，第二轨迹信息是三元组，三元组包含当前时刻对环境中某个机器人的观测、环境反馈的奖励以及下个状态对该机器人的观测；第t条第二轨迹信息的格式表示为 包括机器人i在第t个时间步观察到的传感器级别观测、自身的速度、位置和目标点坐标，以及机器人节点j的速度和位置；第一优化模块用于机器人更新避障策略；避障策略包括动作生成模块对应的第一.pth格式文件和第一优化模块的第二.pth格式文件；机器人节点i的第一优化模块与机器人节点i的第一存储模块、第一通信模块、动作生成模块相连；第一优化模块由第三策略网络、第二通信信道和第四策略网络组成；第三策略网络与第一策略网络的结构相同；第三策略网络与第一存储模块和第二通信信道相连，从第一存储模块读取第一轨迹信息；第三策略网络将第一轨迹信息中的传感器级别观测和机器人自身观测映射为当前机器人节点i的消息，将机器人节点i的消息发送给第二通信信道；第二通信信道和第一通信信道结构完全相同，第二通信信道与第三策略网络和第一存储模块相连，接收第三策略网络中输出的机器人节点i的消息以及第一存储模块中第一轨迹信息中的 得到影响向量，将影响向量发送给第四策略网络；第四策略网络与第二策略网络的结构完全相同，第四策略网络与第二通信信道和动作生成模块相连，从第二通信信道接收影响向量，输出当前观测对应的价值，并以当前观测对应的价值生成梯度，将梯度发送给动作生成模块，以辅助动作生成模块进行参数更新；第一优化模块的第四策略网络将更新后的第三策略网络、第二通信信道和第四策略网络组成中的参数保存生成第二.pth格式文件，将第二.pth格式文件发送给第一通信模块；机器人节点i安装有Ubuntu 16.04及以上版本的操作系统或Ubuntu Mate16.04及以上版本的操作系统，并安装有与操作系统相匹配的ROS和pytorch深度学习框架；动作生成模块和第一优化模块采用pytorch深度学习框架创建；机器人节点i的第一通信模块与机器人节点i的动作生成模块、第一优化模块、云端服务器节点的第三通信模块相连；第一通信模块从动作生成模块接收第一.pth格式文件，从第一优化模块接收第二.pth格式文件，将第一.pth格式文件和第一.pth格式文件发送给云端第三通信模块；机器人节点i的运动模块由数模转换器和驱动装置构成；机器人节点i的运动模块与机器人节点i的动作生成模块相连，从动作生成模块接收动作指令，通过内置的数模转换器将数字信号转换为模拟信号，并将模拟信号传输给驱动装置，使机器人根据行动指令做出相应动作，导致场景的状态发生改变；机器人节点i的第二通信模块与机器人节点i的动作生成模块、机器人节点j的第二通信模块相连，负责机器人节点i与另N-1个机器人之间的通信，并模拟复杂场景中受限的通信环境；云端服务器节点指网络服务器、工作站，安装有Ubuntu16.04及以上版本的操作系统，以及与机器人节点相同版本的Pytorch深度学习框架，并安装有第三通信模块和第二优化模块，负责接收来自N个机器人的第一.pth格式文件和第二.pth格式文件；云端服务器节点上安装有第二优化模块、第三通信模块；第三通信模块与N个机器人节点的第一通信模块均相连，从N个机器人节点的第一通信模块分别接收第一.pth格式文件和第二.pth格式文件，将第一.pth格式文件和第二.pth格式文件发送给第二优化模块；第二优化模块对从第三通信模块接收的2N个.pth格式文件进行整合，得到协同避障策略；第二步，在Webots仿真环境中构建导航与避障仿真复杂场景，为训练做准备，方法是：2.1在任意一台装有Ubuntu16.04及以上版本的电脑上运行Webots仿真环境，并在Webots仿真环境中，仿照第一步构建的通信受限的多机器人导航避障系统中N个机器人节点的实际结构和尺寸，构建对应的N个机器人节点仿真模型；2.2在Webots仿真环境中，对复杂场景的各个要素以相同比例进行仿真建模，得到各种场景要素仿真模型；2.3设计避障任务完成度单步奖励函数；第三步，N个机器人节点仿真模型在仿真复杂场景中并行进行预训练，N台机器人节点仿真模型的训练过程相同，机器人节点仿真模型i的训练过程是：3.1对机器人节点仿真模型i的避障策略进行初始化，即对动作生成模块包含的第一策略网络、相关度生成器、第一通信信道和第二策略网络和第一优化模块中的第三策略网络、第二通信信道和第四策略网络参数进行初始化，参数包括全连接网络内部每层之间的权重矩阵、偏置向量以及卷积网络中的卷积核；3.2初始化已经探索的轮数k＝0，并设定在仿真复杂场景中最大探索轮数K，K为正整数；3.3在仿真复杂场景中随机设置多机器人节点仿真模型和各自对应的目标点位置；3.4初始化机器人节点仿真模型i在第k轮探索中已经完成的行动步数t＝0，并设定第k轮探索中机器人节点仿真模型i可以执行的行动步数最大值T，T为正整数，T的设置与机器人节点仿真模型i的初始位置P m 、距离其最近的目标点的初始位置P T 、机器人节点仿真模型所能允许的最大速度v max 相关；3.5机器人节点仿真模型i的动作生成模块从机器人节点仿真模型i的探测模块获得在时间步t对于机器人节点仿真模型j的观测值 生成动作指令a i ，将a i 发送给机器人节点仿真模型i的运动模块和第一存储模块，方法是：3.5.1第一策略网络从机器人节点仿真模型i的探测模块获得传感器级别观测、机器人自身观测，记为 将 输入第一策略网络，得到通信消息，将通信消息发送给第一通信信道和相关度生成器；3.5.2相关度生成器从第一策略网络接收通信消息，从机器人节点仿真模型i的探测模块获得智能体级别的观测 根据通信消息和智能体级别的观测生成机器人节点仿真模型i与其他所有机器人节点仿真模型的相关度，将相关度发送给消息选择器；3.5.3消息选择器从相关度生成器接收相关度，从第二通信模块接收机器人节点仿真模型i以外的模型的消息 根据相关度对机器人节点进行排序，选出最大的前L个相关度值对应的机器人节点发送的消息，形成机器人节点仿真模型i最相关的消息集合 将 连同机器人节点i自身的消息一起输入到第一通信信道；3.5.4第一通信信道通过注意力机制，将输入的消息映射为影响向量，并将影响向量发送给第二策略网络；3.5.5第二策略网络将从第一通信信道接收的影响向量映射为行动指令a i ，将a i 发送给机器人节点仿真模型i的运动模块和第一存储模块； 是一个二维向量，μ是平均值，σ是标准差；最终的动作数值在高斯分布N(μ，σ 2 )中采样得到，即得到策略 表示机器人节点仿真模型i在第t步时，动作生成模块按照当前策略根据 生成的动作概率分布；3.6运动模块执行动作 3.7按照避障任务完成度单步奖励函数，Webots仿真环境得到机器人节点仿真模型i在时刻t的导航与避障任务完成度奖励值 将 发送到机器人节点仿真模型i的第一存储模块；3.8机器人节点仿真模型i的动作执行导致复杂场景状态发生变化，机器人节点仿真模型i的探测模块观测到下一个时间步t+1的复杂场景状态 将 并发送给机器人节点仿真模型i的第一存储模块；3.9机器人节点仿真模型i的第一存储模块将一组第一轨迹信息 存入到第一经验回放池；机器人节点仿真模型i的第一存储模块将第二轨迹信息 存入到第二经验回放池；3.10机器人节点仿真模型i的第一优化模块判定第一经验回放池是否已有P条信息，若已有P条信息，则第一优化模块从第一经验回放池随机抽取P条第一轨迹信息，转步骤3.11；否则，令i＝i+1，转步骤3.8；P为正整数；3.11机器人节点仿真模型i的第一优化模块按照抽取的先后顺序对P条第一轨迹信息进行编号，令为1～P；同时初始化第一轨迹信息序号值np＝1；3.12机器人节点仿真模型i的第一优化模块从序号np开始顺序选取前p条第一轨迹信息，将选取的p条第一轨迹信息发送给动作生成模块，并将np更新为选取第一轨迹信息中最后一条的序号；p为小于等于P的正整数；3.13机器人节点仿真模型i的动作生成模块从第一优化模块接收选取的p条第一轨迹信息，根据p条第一轨迹信息，采用梯度下降法，使得机器人节点仿真模型i表现评价函数J(θ)值增大；在增大J(θ)值的过程中，动作生成模块中的第一策略网络、相关度生成器、第一通信信道和第二策略网络同时得到更新，从而实现对动作生成模块进行参数优化：其中，θ表示动作生成模块中包含的第一策略网络、第一通信信道和第二策略网络的参数， 表示机器人节点仿真模型i在第t步时，动作生成模块按照当前策略根据第一轨迹信息中依照观测 生成动作指令 的概率， 表示机器人节点仿真模型i在第t步时，动作生成模块按照上次更新前的策略根据第一轨迹信息中依照观测 生成动作指令 的概率，这两个概率分布由动作生成模块的第二策略网络确定；φ是第一优化模块中包含的第三策略网络、第二通信信道和第四策略网络的参数；∈是控制策略更新幅度的超参数；γ是衰减因子； 是第一优化模块输出的价值，t′是大于t的步骤号；3.14机器人节点仿真模型i的第一优化模块采用梯度下降法最小化如公式(2)所示的损失函数L，实现第一优化模块中第三策略网络、第二通信信道和第四策略网络优化：3.15机器人节点仿真模型i的第一优化模块从第二经验回放池中取出的(N-1)×p条轨迹，使用梯度下降法更新相关度生成器：其中， 是相关度生成器的参数；3.16令t＝t+1；若t等于T，则执行步骤3.17；否则执行步骤3.5；3.17令k＝k+1；若k等于K，则执行步骤3.18；否则执行步骤3.5；3.18机器人节点仿真模型i第一优化模块将更新后的第三策略网络、第二通信信道和第四策略网络组成中的的参数保存生成第二.pth格式文件；动作生成模块将更新后的第一策略网络、相关度生成器、第一通信信道和第二策略网络组成中的的参数保存生成第一.pth格式文件；第四步，N个机器人节点仿真模型将第一.pth格式文件、第二.pth格式文件上传到云端服务器节点，由第二优化模块对这2N个.pth格式文件进行评价；N台机器人节点仿真模型并行执行以下步骤，机器人节点仿真模型i的具体步骤如下：4.1机器人节点仿真模型i的动作生成模块将第一.pth格式文件发送到机器人节点仿真模型i的第一通信模块；机器人节点仿真模型i的第一优化模块将第二.pth格式文件发送到机器人节点仿真模型i的第一通信模块；4.2机器人节点仿真模型i的第一通信模块通过SSH通信服务，将第一.pth格式文件、第二.pth格式文件发送到云端服务器节点的第三通信模块；4.3第三通信模块接收到的第一.pth格式文件、第二.pth格式文件发送至第二优化模块；4.4 N个第一.pth格式文件和N个第二.pth格式文件两两成对，即同一个机器人节点的第一.pth格式文件和第二.pth格式文件组成一对，由第二优化模块对这N对.pth格式文件即N个机器人的策略在仿真环境中进行测试，根据成功率、碰撞率和导航时间三种性能指标归一化后按照1:1:1的权重对N个机器人的策略进行评价，作为策略标签值；机器人节点仿真模型i的策略标签值记为PV i ；这N对.pth格式文件共同构成该多机器人系统的协同避障策略；第五步，将第一步构建的通信受限的多机器人导航避障系统设置在需要导航和避障任务的地点即将要派遣多机器人进行搜救的灾区等复杂场景，对仿真环境下的多机器人协同避障策略进行优化，N台机器人节点并行执行以下步骤，机器人节点i的具体步骤如下：5.1机器人节点i的第一通信模块向云端服务器节点的第三通信模块发送基本多机器人协同避障策略下载请求；5.2机器人节点i的第二优化模块为机器人节点i从N对.pth格式文件中以概率分布的方式选择一对.pth格式文件，并将其通过第三通信模块转发给机器人节点i的第一通信模块；5.3机器人节点i的第一通信模块将选中的一对.pth格式文件中的第一.pth格式文件发送给机器人节点i的动作生成模块，初始化机器人节点i的第一优化模块的参数；机器人节点i的第一通信模块将选中的一对.pth格式文件中的第二.pth格式文件发送给机器人节点i的第一优化模块，初始化机器人节点i的第一优化模块的参数；5.4初始化t＝0，清空第一存储模块，初始化最大步骤数T′，T′为正整数；5.5机器人节点i的动作生成模块从机器人节点仿真模型i的探测模块获得在时间步t对于机器人节点仿真模型j的观测值 从其他所有机器人的消息集合 中选取最相关的消息集合 生成动作指令a i ，将a i 发送给机器人节点仿真模型i的运动模块；将第一轨迹信息 和第二轨迹信息 存入第一存储模块；5.6机器人节点i的运动模块执行动作 5.7在机器人节点i的运动模块执行行为 后，机器人节点i根据步骤2.4设计的评价指标，得到当前避障任务完成度评分 并将 发送到机器人节点i的第一存储模块；5.8 的执行导致复杂场景状态发生变化，机器人节点i的探测模块观测到新的复杂场景环境状态 并将 发送到第一优化模块；5.9机器人节点i的第一存储模块将接收的 整合成一组第一轨迹信息 存入机器人节点i的第一存储模块的第一经验回放池；将接收的 整合成一组第二轨迹信息 存入机器人节点i的第一存储模块的第二经验回放池；5.10若机器人节点i的第一存储模块的第一经验回放池已经有R1条信息，则动作生成模块从第一经验回放池中随机抽取R1条第一轨迹信息，转步骤5.11；否则，令t＝t+1，转步骤5.4；R1为正整数；5.11机器人节点i的动作生成模块根据读取的R1条第一轨迹信息，通过梯度下降法，使得J(θ)值增大；在此过程中更新了动作生成模块中的网络参数，实现对动作生成模块中第一策略网络、第二策略网络和第一通信信道的优化；5.12机器人节点i的第一优化模块读取R1条第一轨迹信息，采用梯度下降法最小化L(φ)，在此过程中第一优化模块中的网络参数得到了更新，实现了对第一优化模块的第三策略网络、第二通信信道和第四策略网络的优化；5.13机器人节点i的第一优化模块在第一存储模块的第二经验回放池中读取对应的R2条第二轨迹信息，通过梯度下降法，使得 最小，实现了对相关度生成器的网络参数得到了更新，实现了对通信消息选择的优化；R2为正整数；5.14休眠α秒；若t达到最大步骤数T′，转第六步；否则，转步骤5.4；第六步，多机器人系统根据优化后的避障策略，在复杂场景下协同完成导航与避障任务；N台机器人节点并行执行以下步骤，机器人节点i人具体步骤如下：6.1初始化t＝0；6.2机器人节点i的探测模块探测复杂场景状态 将 发送至动作生成模块；6.3机器人节点i的动作生成模块生成动作，方法是：6.3.1第一策略网络从探测模块接收传感器级别观测和机器人自身观测，生成通信消息 将 发送给相关度生成器、第一通信信道；6.3.2相关度生成器从第一策略网络接收 从探测模块接收智能体级别观测，生成其他机器人对机器人节点i的相关度，将相关度发送给消息选择器；6.3.3消息选择器从相关度生成器接收其他机器人节点的相关度，从第二通信模块接收来自其它机器人的消息，根据相关度从来自其它机器人的消息集合 中筛选出与机器人节点i最相关L条消息，形成机器人节点仿真模型i最相关的消息集合 将 与机器人节点的消息发送给第一通信信道；6.3.4第一通信信道从第一策略网络接收 从消息选择器接收 与机器人节点，采用注意力机制，生成影响向量；6.3.5第二策略网络将影响向量映射为动作 6.4机器人节点i的动作生成模块的第二策略网络将 发送到机器人节点i的运动模块；6.5机器人节点i的运动模块执行动作 6.6若机器人节点i在各种障碍物保持安全距离d1米的同时达到目标点附近d2米以内，d1和d2均为正数，则判定其到达目标点，转第七步；如果未能保持安全距离d1米，则判定为碰撞，转第七步；如果在各种障碍物保持安全距离d1米的同时未达到目标点附近d2米以内，且未到达最大时间步则返回步骤6.2；如果在各种障碍物保持安全距离d1米的同时未达到目标点附近d2米以内，且到达最大时间步，则判定为超时，转到第七步；第七步，结束。 2.如权利要求1所述的一种面向受限通信的复杂场景下多机器人避障方法，其特征在于所述机器人节点包括地面机器人节点Pioneer 3-DX，所述传感器指激光扫描雷达、红外摄像头、深度摄像头；机器人节点上的动作生成模块和第一优化模块通过pytorch深度学习框架创建，机器人节点上安装的pytorch深度学习框架要求1.4版本及以上。 3.如权利要求1所述的一种面向受限通信的复杂场景下多机器人避障方法，其特征在于所述动作生成模块中的第一策略网络中的第一卷积层由32个内核大小为5，步长为2的一维过滤器组成；第二卷积层由32个内核大小为3，步长为2的一维过滤器组成；第一全连接层具有512个整流单元，第二全连接层具有128个整流单元；所述构成相关度生成器的全连接层包含64个整流单元；所述构成第一通信信道的三个全连接网络均包含256个整流单元；第二策略网络的一个全连接层包含128个整流单元，另一个全连接层包含32个整流单元。 4.如权利要求1所述的一种面向受限通信的复杂场景下多机器人避障方法，其特征在于所述第一存储模块是可用空间1GB以上的存贮器；第一存储模块中的第一经验回放池是一个容量为P1的双端队列，P1取值为128-256；第二经验回放池是一个容量为P2的双端队列，P2的取值为2000-2500。 5.如权利要求1所述的一种面向受限通信的复杂场景下多机器人避障方法，其特征在于所述第一通信模块为无线网卡，第一通信模块将第一.pth格式文件和第一.pth格式文件通过SSH通信服务发送给云端第三通信模块；所述第二通信模块指蓝牙或ZigBee或WiFi，第二通信模块在同一个时间步内最多只能同时监听其他R个机器人节点的消息，R为正整数，R≤N-1；所述第三通信模块为无线网卡；所述运动模块中的驱动装置包括马达、轮胎。 6.如权利要求5所述的一种面向受限通信的复杂场景下多机器人避障方法，其特征在于所述R取值范围为2～5。 7.如权利要求1所述的一种面向受限通信的复杂场景下多机器人避障方法，其特征在于第一步所述α取值范围为0.1～0.3。 8.如权利要求1所述的一种面向受限通信的复杂场景下多机器人避障方法，其特征在于第二步所述Webots仿真环境要求版本2020b以上。 9.如权利要求1所述的一种面向受限通信的复杂场景下多机器人避障方法，其特征在于2.3步所述设计避障任务完成度单步奖励函数的方法是对复杂场景多要素衡量进行打分并累计求和得到奖励值。 10.如权利要求9所述的一种面向受限通信的复杂场景下多机器人避障方法，其特征在于对复杂场景多要素衡量进行打分并累计求和得到奖励值的方法具体为：机器人节点仿真模型距离目标点每接近1米则奖励2.5分，每背离1米则扣2.5分；机器人节点仿真模型到达目标点则奖励15分；机器人节点仿真模型与其他机器人模型或障碍物碰撞则扣15分；如果机器人节点仿真模型的角速度大于1.05rad/s，则扣角速度的0.1倍对应的分数。 11.如权利要求1所述的一种面向受限通信的复杂场景下多机器人避障方法，其特征在于3.1步所述对动作生成模块包含的第一策略网络、相关度生成器、第一通信信道和第二策略网络和第一优化模块中的第三策略网络、第二通信信道和第四策略网络的参数进行初始化时按照期望为0、方差为2的正态分布随机生成。 12.如权利要求1所述的一种面向受限通信的复杂场景下多机器人避障方法，其特征在于第三步所述K取值范围为1500～2000；所述T取值为2×(||P m -P T || 2 /v max )/σ～3×(||P m -P T || 2 /v max )/σ，其中||x-y|| 2 表示从位置x到位置y的欧氏距离，σ＝0.1；所述P取值为50～100；所述p取值范围为5～10；所述∈取值为0.1-0.3；所述y取值为0.8-0.9。 13.如权利要求1所述的一种面向受限通信的复杂场景下多机器人避障方法，其特征在于第五步所述机器人节点i选中第i对.pth格式文件的概率为 所述T′取值为50～100，所述R1为30～50；所述R2为180～300。 14.如权利要求1所述的一种面向受限通信的复杂场景下多机器人避障方法，其特征在于第六步所述d1和d2的取值范围在0.1～0.3米。