有效
一种机器人导航规划方法及系统
刘勇、郭闯、刘维维、徐一未、张可鑫
浙江大学
刘
刘勇机构 暂无
技术领域 暂无
郭
郭闯机构 暂无
技术领域 暂无
刘
刘维维机构 暂无
技术领域 暂无
徐
徐一未机构 暂无
技术领域 暂无
张
张可鑫机构 暂无
技术领域 暂无
摘要
本发明公开了一种机器人导航规划方法及系统,包括接收用户高级任务并利用大语言模型生成高级任务规划;获取并处理多视角视觉数据,利用第一多模态大模型结合当前任务规划以理解场景、选择局部目标并解算出目标导航信息;根据目标导航信息,利用第二多模态大模型生成具体的机器人运动指令,并由机器人执行,同时记录执行过程与理由形成记忆以备更新,使机器人能够仅依靠高级任务描述和实时视觉输入,实现对复杂环境的理解、决策和任务执行。
1.一种机器人导航规划方法,其特征在于,包括以下步骤:步骤S1:接收高级任务;步骤S2:获取当前摘要记忆,将所述高级任务和当前摘要记忆输入大语言模型进行动态推理,得到当前任务规划和当前语义子任务;步骤S3:采集机器人当前所处环境的多视角视觉数据;步骤S4:将所述当前语义子任务和多视角视觉数据输入到第一多模态大语言模型进行跨模态理解后,从所述多视角视觉数据中选择一个包含当前语义子任务目标的最优视角,基于所述最优视角对应的视觉数据计算出机器人在当前坐标系下,相对于当前语义子任务目标的目标导航信息;步骤S5:将所述目标导航信息输入到第二多模态大语言模型中生成机器人运动指令和相应的决策理由;步骤S6:机器人执行机器人运动指令,完成物理移动;步骤S7:将所述当前语义子任务、机器人运动指令、决策理由存入摘要记忆中形成新的摘要记忆;步骤S8:判断机器人的当前任务规划执行情况,若未执行完毕,则跳转至步骤S2,并将步骤S7中新的摘要记忆作为当前摘要记忆,重复步骤S2到步骤S8直至当前任务规划执行完毕。
2.根据权利要求1所述的一种机器人导航规划方法,其特征在于,所述目标导航信息包括机器人需要调整的朝向角度和机器人应前进的距离。
3.根据权利要求1所述的一种机器人导航规划方法,其特征在于,步骤S3中所述多视角视觉数据包括多视角彩色图像 和对应的深度图像 ;所述步骤S4包括以下步骤:步骤S41:将所述当前语义子任务和步骤S3中的多视角视觉数据输入到第一多模态大语言模型 进行跨模态理解后,从所述多视角视觉数据中选择一个包含当前语义子任务目标的最优视角 ;步骤S42:将所述最优视角 对应的彩色图像 和当前语义子任务输入到目标定位模型,在 上精确定位当前语义子任务所描述的目标,并输出一个像素级的目标边界框;步骤S43:通过空间解算函数,结合所述目标边界框和最优视角 对应的深度图像 ,计算出机器人在当前坐标系下,相对于当前语义子任务目标的目标导航信息 : ;其中 为机器人需要调整的朝向角度, 为机器人应前进的距离。
4.根据权利要求1所述的一种机器人导航规划方法,其特征在于,所述步骤S2包括:获取当前摘要记忆,利用大语言模型 内部蕴含的庞大世界知识 ,将高级任务 动态分解为包含多个语义子任务的当前任务规划 ,输出当前语义子任务。
5.根据权利要求1所述的一种机器人导航规划方法,其特征在于,步骤S7中新的摘要记忆的形成过程可表示为: ;其中, 表示新的摘要记忆, 表示当前摘要记忆, 表示当前语义子任务, 表示机器人运动指令, 表示决策理由, 表示摘要函数,用于对记忆库进行压缩。
6.根据权利要求1所述的一种机器人导航规划方法,其特征在于,所述大语言模型、第一多模态大语言模型和第二多模态大语言模型是可替换的独立智能体模块,分别充当规划大脑、分析大脑和决策大脑。
7.一种机器人导航规划系统,其特征在于,包括:任务规划模块:所述任务规划模块包括大语言模型,所述任务规划模块接收高级任务和摘要记忆,并利用所述大语言模型对所述高级任务和摘要记忆进行动态推理,输出当前任务规划及其当前语义子任务;场景处理模块:所述场景处理模块与所述任务规划模块连接,所述场景处理模块包括图像采集设备,第一多模态大语言模型和目标定位模型;所述图像采集设备用于采集机器人当前所处环境的多视角视觉数据;利用第一多模态大语言模型对任务规划模块输出的当前语义子任务和多视角视觉数据进行跨模态理解,从所述多视角视觉数据中选择一个包含当前语义子任务目标的最优视角;所述目标定位模型基于所述最优视角对应的视觉数据计算出机器人在当前坐标系下,相对于当前语义子任务目标的目标导航信息;记忆与执行模块:所述记忆与执行模块与所述场景处理模块连接,所述记忆与执行模块包括第二多模态大语言模型、机器人执行器和摘要记忆单元,所述第二多模态大语言模型根据目标定位模型计算出的目标导航信息生成机器人运动指令和相应的决策理由;所述机器人执行器用于控制机器人执行所述机器人运动指令;所述摘要记忆单元用于存储当前语义子任务、机器人运动指令和决策理由并形成新的摘要记忆;所述记忆与执行模块通过将新的摘要记忆反馈给记忆与执行模块使机器人导航规划系统成为一个闭环控制系统,通过循环迭代至所述当前任务规划执行完毕实现机器人连续的自主导航。
8.根据权利要求7所述的一种机器人导航规划系统,其特征在于,所述目标定位模型为视觉-语言GroundingDINO模型,所述目标导航信息包括机器人需要调整的朝向角度和机器人应前进的距离。
9.根据权利要求7所述的一种机器人导航规划系统,其特征在于,所述记忆与执行模块还包括运动指令库,所述第二多模态大语言模型生成的机器人运动指令从所述运动指令库中选取或在运动指令库基础上生成。
10.根据权利要求7所述的一种机器人导航规划系统,其特征在于,所述图像采集设备为RGB-D相机,能够同时提供彩色图像和深度图像。



