有效
多屏幕交互方法和装置
陆峰、鲍屹伟
北京航空航天大学
陆
陆峰机构 暂无
技术领域 暂无
鲍
鲍屹伟机构 暂无
技术领域 暂无
摘要
本申请提供一种多屏幕交互方法和装置。该方法包括:获取待显示内容,待显示内容包括通知消息或由用户操作触发生成的请求消息对应的内容;在第一屏幕上通过新增窗口显示待显示内容;接收来自眼动跟踪仪的第一注视点信息,第一注视点信息为所述眼动跟踪仪基于用户的视线信息得到的;根据第一注视点信息,确定用户注视的屏幕为第二屏幕;将新增窗口从第一屏幕移动至第二屏幕。本申请的方法,根据第一注视点信息将新增窗口进行跨屏移动,可以减少长距离移动鼠标的次数,进而提高操作效率。
1.一种多屏幕交互方法,其特征在于,应用于电子设备,所述电子设备包括第一屏幕和第二屏幕,所述方法包括:获取待显示内容,所述待显示内容包括通知消息或由用户操作触发生成的请求消息对应的内容;在所述第一屏幕上通过新增窗口显示所述待显示内容;接收来自眼动跟踪仪的第一注视点信息,所述第一注视点信息为所述眼动跟踪仪基于用户的视线信息得到的;根据所述第一注视点信息,确定所述用户注视的屏幕为所述第二屏幕;若接收到用户的注视点信息的时刻与获取到待显示内容的时刻之间的时长小于预设时长,将所述新增窗口从所述第一屏幕移动至所述第二屏幕;所述将所述新增窗口从所述第一屏幕移动至所述第二屏幕,包括:在所述新增窗口为显示在固定位置的窗口时,将所述新增窗口移动到所述第二屏幕中与所述第一屏幕中显示所述新增窗口时的相同位置;或者在所述新增窗口为可移动的窗口时,根据所述第一注视点信息,将所述新增窗口从所述第一屏幕移动至所述第二屏幕的第一预设区域,所述第一预设区域为所述第一注视点信息对应的第一注视点所在的第一预设范围内的区域。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:接收来自所述眼动跟踪仪的第二注视点信息;在满足第一预设条件时,根据所述第二注视点信息,将所述第一屏幕中的鼠标光标或所述第一屏幕中的鼠标箭头移动至所述第二屏幕的第二注视点信息对应的第二注视点所在的位置;其中,所述满足第一预设条件包括:所述第二注视点信息对应的注视时长大于第二预设时长,或者,获取鼠标相关事件,所述鼠标相关事件为基于所述用户操作触发的移动所述鼠标光标或移动所述鼠标箭头的事件。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:接收来自所述眼动跟踪仪的第三注视点信息;在满足第二预设条件时,根据所述第三注视点信息,在所述第二屏幕中的第二预设区域内创建子屏幕,将所述第一屏幕中的目标区域移动到所述子屏幕中;其中,所述目标区域为在所述第二屏幕接收到所述第三注视点信息前第一预设时间内,所述用户在第一屏幕中进行操作的区域;所述目标区域中的对象移动到所述子屏幕后,保留原有的交互功能;其中,所述第二预设区域为所述第三注视点信息对应的第三注视点所在的第二预设范围内的区域;其中,所述满足第二预设条件包括:在所述第二屏幕接收到所述第三注视点信息前第一预设时间内,所述用户在所述第一屏幕上进行操作,或者,接收到所述用户的预设操作。
4.一种多屏幕交互方法,其特征在于,应用于眼动跟踪仪,所述方法包括:获取用户的视线信息;根据所述视线信息,得到第一注视点信息;向电子设备发送所述第一注视点信息,用于所述电子设备根据所述第一注视点信息,确定所述用户注视的屏幕为第二屏幕,若接收到用户的注视点信息的时刻与获取到待显示内容的时刻之间的时长小于预设时长,将新增窗口从第一屏幕移动至所述第二屏幕,所述第一屏幕为通过所述新增窗口显示待显示内容的屏幕;所述待显示内容包括通知消息或由所述用户操作触发生成的请求消息对应的内容;所述将所述新增窗口从所述第一屏幕移动至所述第二屏幕,包括:在所述新增窗口为显示在固定位置的窗口时,将所述新增窗口移动到所述第二屏幕中与所述第一屏幕中显示所述新增窗口时的相同位置;或者在所述新增窗口为可移动的窗口时,根据所述第一注视点信息,将所述新增窗口从所述第一屏幕移动至所述第二屏幕的第一预设区域,所述第一预设区域为所述第一注视点信息对应的第一注视点所在的第一预设范围内的区域。
5.根据权利要求4所述的方法,其特征在于,所述眼动跟踪仪与多个屏幕通信连接;所述根据所述视线信息,计算得到第一注视点信息,包括:计算每个所述屏幕的姿态数据,得到每个所述屏幕的3D位置和屏幕朝向;根据所述视线信息、所述3D位置和所述屏幕朝向,确定所述用户的注视点,得到所述第一注视点信息。
6.根据权利要求5所述的方法,其特征在于,所述根据所述视线信息、所述3D位置和所述屏幕朝向,确定所述用户的注视点,包括:根据所述视线信息、所述3D位置和所述屏幕朝向,确定所述用户的视线方向与所述多个屏幕的交点数量;若所述交点数量为1,则所述交点为所述注视点;若所述交点数量大于1,则所述视线方向与距离所述用户最近的屏幕的交点为所述注视点。
7.根据权利要求4所述的方法,其特征在于,所述眼动跟踪仪与一个屏幕通信连接;所述根据所述视线信息,计算得到第一注视点信息,包括:根据所述视线信息,判断用户视线方向是否与对应的屏幕有交点;若是,则计算所述交点在所述屏幕的像素坐标;根据所述像素坐标,确定所述用户的注视点,得到所述第一注视点信息。
8.一种多屏幕交互装置,其特征在于,应用于电子设备,包括:获取模块,用于获取待显示内容,所述待显示内容包括通知消息或由用户操作触发生成的请求消息对应的内容;显示模块,用于在第一屏幕上通过新增窗口显示所述待显示内容;接收模块,用于接收来自眼动跟踪仪的第一注视点信息,所述第一注视点信息为所述眼动跟踪仪基于用户的视线信息得到的;确定模块,用于根据所述第一注视点信息,确定所述用户注视的屏幕为第二屏幕;移动模块,用于若接收到用户的注视点信息的时刻与获取到待显示内容的时刻之间的时长小于预设时长,将所述新增窗口从所述第一屏幕移动至所述第二屏幕;所述移动模块,具体用于在所述新增窗口为显示在固定位置的窗口时,将所述新增窗口移动到所述第二屏幕中与所述第一屏幕中显示所述新增窗口时的相同位置;或者在所述新增窗口为可移动的窗口时,根据所述第一注视点信息,将所述新增窗口从所述第一屏幕移动至所述第二屏幕的第一预设区域,所述第一预设区域为所述第一注视点信息对应的第一注视点所在的第一预设范围内的区域。
9.一种多屏幕交互装置,其特征在于,应用于眼动跟踪仪,包括:获取模块,用于获取用户的视线信息;确定模块,用于根据所述视线信息,得到第一注视点信息;发送模块,用于向电子设备发送所述第一注视点信息,用于所述电子设备根据所述第一注视点信息,确定所述用户注视的屏幕为第二屏幕,若接收到用户的注视点信息的时刻与获取到待显示内容的时刻之间的时长小于预设时长,将新增窗口从第一屏幕移动至所述第二屏幕,所述第一屏幕为通过所述新增窗口显示待显示内容的屏幕;所述待显示内容包括通知消息或由所述用户操作触发生成的请求消息对应的内容;所述将所述新增窗口从所述第一屏幕移动至所述第二屏幕,包括:在所述新增窗口为显示在固定位置的窗口时,将所述新增窗口移动到所述第二屏幕中与所述第一屏幕中显示所述新增窗口时的相同位置;或者在所述新增窗口为可移动的窗口时,根据所述第一注视点信息,将所述新增窗口从所述第一屏幕移动至所述第二屏幕的第一预设区域,所述第一预设区域为所述第一注视点信息对应的第一注视点所在的第一预设范围内的区域。



