有效
通信方法及装置、穿戴设备、存储介质
李虎民、孙舶寒
北京小米移动软件有限公司
摘要
本公开是关于一种通信方法及装置、穿戴设备、存储介质。该通信方法应用于穿戴设备中,包括:获取所述穿戴设备的眼动相机采集得到的第一特征数据以及所述眼动相机以外的外部相机采集得到的第二特征数据;其中,所述第一特征数据表征为与穿戴者的眼部相关联的数据;所述第二特征数据表征为与所述穿戴者的面部和身体相关联的数据;基于所述第一特征数据和所述第二特征数据,对所述穿戴者进行图像重建得到重建图像;所述重建图像用于表征所述穿戴者的虚拟形象;将所述重建图像发送给与所述穿戴设备通信的通信设备,使得所述穿戴设备和所述通信设备能够基于所述重建图像进行通信。通过本公开实施例能够提高穿戴设备的佩戴舒适感和降低了用电焦虑感。
1.一种通信方法,其特征在于,应用于穿戴设备中,包括:获取所述穿戴设备的眼动相机采集得到的第一特征数据以及所述眼动相机以外的外部相机采集得到的第二特征数据;其中,所述第一特征数据表征为与穿戴者的眼部相关联的数据;所述第二特征数据表征为与所述穿戴者的面部和身体相关联的数据;基于所述第一特征数据和所述第二特征数据,对所述穿戴者进行图像重建得到重建图像;所述重建图像用于表征所述穿戴者的虚拟形象;将所述重建图像发送给与所述穿戴设备通信的通信设备,使得所述穿戴设备和所述通信设备能够基于所述重建图像进行通信;所述第一特征数据包括:眼部特征数据;所述第二特征数据包括面部特征数据和身体特征数据;所述基于所述第一特征数据和所述第二特征数据,对所述穿戴者进行图像重建得到重建图像,包括:对所述眼部特征数据和所述面部特征数据进行特征融合,得到面部融合数据;基于所述面部融合数据和所述身体特征数据,得到模型驱动数据;基于所述模型驱动数据和所述穿戴设备采集的语音数据,得到所述重建图像;所述对所述眼部特征数据和所述面部特征数据进行特征融合,得到面部融合数据,包括:将所述面部特征数据与标准面部数据进行对齐,得到面部对齐数据;基于所述面部对齐数据中的眼部初始数据和所述眼部特征数据,得到眼部修正尺度;基于所述眼部修正尺度修正所述眼部特征数据,得到眼部修正数据;将所述眼部修正数据融合到所述面部对齐数据中,得到所述面部融合数据;所述基于所述面部对齐数据中的眼部初始数据和所述眼部特征数据,确定眼部修正尺度,包括:获取所述眼动相机和所述外部相机的相对外参;基于所述相对外参、所述眼部特征数据包含的两个眼部关键点的中心坐标和预设的眼动相机相对于所述眼部关键点的深度距离,得到两个所述眼部关键点之间的实际距离;基于所述眼部初始数据中两个所述眼部关键点之间的初始距离与所述实际距离之间的比值,得到所述眼部修正尺度。
2.根据权利要求1所述的方法,其特征在于,所述将所述面部特征数据与标准面部数据进行对齐,得到面部对齐数据,包括:基于所述面部特征数据的多个面部关键点、所述标准面部数据的多个标准关键点,得到面部对齐的整体优化误差;对所述整体优化误差进行非线性优化,得到所述面部对齐数据。
3.根据权利要求1所述的方法,其特征在于,所述基于所述相对外参、所述眼部特征数据包含的两个眼部关键点的中心坐标和预设的眼动相机相对于所述眼部关键点的深度距离,得到两个所述眼部关键点之间的实际距离,包括:基于两个所述眼部关键点的中心坐标和所述深度距离,得到两个所述眼部关键点的三维坐标;基于两个所述眼部关键点的三维坐标和所述相对外参,得到两个所述眼部关键点之间的实际距离。
4.根据权利要求1所述的方法,其特征在于,所述模型驱动数据包括表情权重以及多个身体关键点的坐标;所述基于所述面部融合数据和所述身体特征数据,得到所述模型驱动数据,包括:基于所述面部融合数据所表征的目标表情、预设的多个基准表情以及多个所述基准表情的权重,得到与所述目标表情对应的表情权重;将所述身体特征数据的多个身体关键点映射到三维空间中,得到多个身体关键点的坐标。
5.根据权利要求1所述的方法,其特征在于,所述基于所述模型驱动数据和所述穿戴设备采集的语音数据,得到所述重建图像,包括:获取虚拟驱动模型;基于所述模型驱动数据和所述穿戴设备采集的语音数据,驱动所述虚拟驱动模型,得到所述重建图像。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述获取所述穿戴设备的眼动相机采集得到的第一特征数据以及所述眼动相机以外的外部相机采集得到的第二特征数据,包括:向所述外部相机所在的相机设备发送时钟同步信号或者接收所述相机设备发送的所述时钟同步信号;所述时钟同步信号用于对所述眼动相机和所述外部相机进行时钟同步;基于时钟同步后的所述眼动相机和所述外部相机进行采集,得到所述第一特征数据和所述第二特征数据。
7.一种通信装置,其特征在于,应用于穿戴设备中,包括:特征获取模块,配置为获取所述穿戴设备的眼动相机采集得到的第一特征数据以及所述眼动相机以外的外部相机采集得到的第二特征数据;其中,所述第一特征数据表征为与穿戴者的眼部相关联的数据;所述第二特征数据表征为与所述穿戴者的面部和身体相关联的数据;重建图像模块,配置为基于所述第一特征数据和所述第二特征数据,对所述穿戴者进行图像重建得到重建图像;通信模块,配置为将所述重建图像发送给与所述穿戴设备通信的通信设备,使得所述穿戴设备和所述通信设备能够基于所述重建图像进行通信;所述第一特征数据包括:眼部特征数据;所述第二特征数据包括面部特征数据和身体特征数据;所述基于所述第一特征数据和所述第二特征数据,对所述穿戴者进行图像重建得到重建图像,包括:对所述眼部特征数据和所述面部特征数据进行特征融合,得到面部融合数据;基于所述面部融合数据和所述身体特征数据,得到模型驱动数据;基于所述模型驱动数据和所述穿戴设备采集的语音数据,得到所述重建图像;所述对所述眼部特征数据和所述面部特征数据进行特征融合,得到面部融合数据,包括:将所述面部特征数据与标准面部数据进行对齐,得到面部对齐数据;基于所述面部对齐数据中的眼部初始数据和所述眼部特征数据,得到眼部修正尺度;基于所述眼部修正尺度修正所述眼部特征数据,得到眼部修正数据;将所述眼部修正数据融合到所述面部对齐数据中,得到所述面部融合数据;所述基于所述面部对齐数据中的眼部初始数据和所述眼部特征数据,确定眼部修正尺度,包括:获取所述眼动相机和所述外部相机的相对外参;基于所述相对外参、所述眼部特征数据包含的两个眼部关键点的中心坐标和预设的眼动相机相对于所述眼部关键点的深度距离,得到两个所述眼部关键点之间的实际距离;基于所述眼部初始数据中两个所述眼部关键点之间的初始距离与所述实际距离之间的比值,得到所述眼部修正尺度。
8.一种穿戴设备,其特征在于,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行如权利要求1至6中任一项所述的通信方法。
9.一种非临时性计算机可读存储介质,当所述存储介质中的指令由穿戴设备的处理器执行时,使得穿戴设备能够执行如权利要求1至6中任一项所述的通信方法。



