蒋树强,中国科学院计算技术研究所研究员,博士生导师,主要研究方向为多媒体内容分析、多模态智能技术和食品计算,从事图像/视频等多媒体信息的分析、理解、监控、检索等技术的研究开发工作。
面向家庭服务的实际需求,本项目研制的陪伴型智能服务机器人旨在解决家庭伴护中的痛点问题。这些问题包括但不限于:家庭成员间的情感陪伴缺失、老年人及特殊需求人群的日常生活照料不足、家庭安全监控与异常声音检测不及时等。通过引入智能机器人,可以有效提升家庭生活的便捷性、安全性和幸福感。
本项目采用先进的技术解决方案,包括视听觉环境感知、室内自主导航、家人知识建模与生活习惯自主学习、多关节手臂与物体抓取以及多模态对话与交互等。技术原理基于RGB和RGBD的图像识别与立体场景理解,结合语音识别、异常声音检测与话者识别技术,实现全面的环境感知。自主导航技术确保机器人在家庭环境中安全、快速地移动。通过知识建模与自主学习,机器人能够逐步适应家庭成员的生活习惯。多自由度机器人手臂增强了机器人的操作能力,而多模态对话与交互技术则提升了机器人的交互体验。
该智能服务机器人具有显著的竞争优势。首先,其集成了多项先进技术,实现了全面的家庭伴护功能,具有较高的技术含量和创新性。其次,通过自主导航和自主学习技术,机器人能够灵活适应不同的家庭环境和生活习惯,提供个性化的服务。此外,多模态对话与交互技术使得机器人与家庭成员之间的交互更加自然、流畅,提升了用户体验。最后,该成果已发表多篇高水平学术论文并申请国家专利,具有较高的学术价值和应用前景。
制造业
应用技术
新技术
允许出口
面向家庭伴护智能机器人研制及示范
地方计划
与企业合作
联想(北京)有限公司
本项目面向家庭服务的实际需求,研制了一款陪伴型的智能服务机器人并进行应用示范。我们在该项目中实现了诸多功能,包括: (1)视听觉环境感知:视觉环境感知包括基于RGB的图像识别以及基于RGBD的立体场景理解。听觉环境感知包括语音的识别,异常声音的检测、以及与人脸识别相结合的话者识别等。 (2)室内自主导航:自主导航包括机器人自定位和路径规划两部分。其主要任务是保证机器人在运行环境中能够安全、快速地移动到目标点。 (3)家人知识建模与生活习惯自主学习:包括初始的知识建模与渐进式自主学习两部分。 (4)多关节手臂与物体抓取:多自由度机器人手臂在执行各种操作任务中非常关键, 极大延展机器人系统的能力。 (5)多模态对话与交互:包括语言与视听觉场景的多模态信息理解、用户的意图感知、多模态的知识推理、语音与视觉的自然对话、行为与语言的融合交互等。 在项目实施期间,我们发表高水平学术论文10多篇,申请国家专利2项,培养博硕士生10余名,且项目成功验收。
