有效

人眼视线落点估计方法、系统、电子设备

李霖、武新梅、朱海红、李思宇、于璐、严如玉
武汉大学

摘要

本发明公开了一种人眼视线落点估计方法、系统、电子设备。该方法包括:采集包含人脸的图像或视频;然后采用人脸检测算法检测所采集视频或图像中的人脸,同时使用关键点检测算法进行人脸关键点定位;根据关键点的位置及人脸检测结果左右眼图像和人脸图像;将这些图像及能够表征人脸在图像中相对位置的face grid图像输入到人眼视线落点估计模型,用于最终人眼视线落点的估计。人眼视线落点估计模型包括Base‑CNNs网络和EE‑Net网络,Base‑CNNs网络对包含较少细节信息的全脸图像特征进行提取,包含两个不对称分支的EE‑Net网络分别对左右眼图像进行更细粒度的特征提取,最后使用全连接层对全脸图像特征向量、双眼图像特征向量及face grid图像进行回归,用于最终的视线估计任务。

暂无引用专利