如何实现眼控VR全视场角追踪,一直是VR行业在攻关的难题,国际范围内的SMI、Tobii等眼球追踪技术公司也尚未对外公布这一方面的成果,最近国内眼球追踪技术公司或许有望实现突破。近日,七鑫易维透露:眼控VR已经研发成功,带有眼球追踪技术的VR头显已经进入测试阶段,已经可以实现眼控交互和局部渲染。

从技术实现上讲,VR设备上眼球追踪的实现便与电脑设备上实现眼球追踪有很大的不同,在VR设备上受使用条件和结构的限制,光学设计和追踪算法都要更加精细和复杂。因为在玩家使用VR设备时,和人眼距离很近,瞳孔和虹膜与眼球并不在摄像头的正面,而且还会被眼睑和睫毛遮挡,通过传统的算法很难准确定位眼球,此时传统追踪方式获取的人眼模型会凸显出来,这时人眼转动就会对图像产生非常大的影响,同样的转角造成的运动模糊也会变大,加大图像处理方面的难度。

为了解决这一难题,可以采用特殊的光学装置,又针对VR设备优化追踪算法,这样便可以很好的捕捉人眼的特征点又不影响VR的体验。

眼控VR能够带来什么?

全视场角追踪

在VR设备上的眼球追踪需要追踪的范围非常大,几乎达到人眼的转动极限:垂直30°,水平50°,完全可以覆盖FOV大于110°的主流VR设备。按照人类眼动的极限来设计追踪方案,这样追踪范围广,可无死角覆盖整个VR显示屏幕。

高精度低延迟

七鑫易维实现眼控VR全视场角追踪技术:或是目前最好的眼控VR方案

除了追踪范围,另一个非常重要的元素便是追踪精度,尤其是在VR游戏当中,对操作的实时性和精准度要求非常高。要让玩家感觉不到延迟的存在,需要在眼动数据获取速度下功夫,而眼球追踪技术可以弥补这方面的缺憾。

防抖追踪算法

由于VR设备的使用时需要佩戴在头上,而且大部分VR应用都必须头部动作的配合,此时头动过程中便会造成VR设备与头部的位移变化,在这种运动状态下获取准确的眼球数据,无疑是对硬件和算法最大的挑战。所以可针对VR设备的眼控方案特别加入了防抖算法,这样玩家在使用过程中即使头动也不会影响眼球追踪的精度。

眼控VR将会为VR带来全新的玩法,在射击类游戏中可以由眼睛控制光标锁定,当用户闭上一只眼时自动调出瞄准镜等,还可以根据玩家在游戏场景中注视点不同触发不同的剧情,当玩家注视路口时,会自动出现地图导航,当注视NPC不同部位触发不同的剧情等。

除此之外眼控的交互方式还可以应用于游戏菜单,不需要使用的菜单会自动隐藏,使用时通过眼控触发,使VR界面更加干净。

七鑫易维实现眼控VR全视场角追踪技术:或是目前最好的眼控VR方案

这款眼控VR市场如何?

正因为眼控交互可以给VR带来诸多的方便和玩法,很多VR厂商都非常重视眼控VR的研发。七鑫易维目前正在测试的这款眼控VR,算法追踪速度为240Hz,延迟低于5ms,可实现全视场角追踪。其中对saccade处理,即快速眼动跟踪主要是通过眼跳基于高速追踪时,对眼球转动矢量进行处理得到,高于某个阈值就认为是眼跳。

在VR业内人士看来,视线跟踪是非常关键的技术,但最重要的方向不见得在于控制,而在于显示优化和社交,视线的捕捉和重建直接会影响情感表达的效果。更有人认为眼球追踪会是下一代VR头显的标配,尽管在交互上还需要更多的内容支持,但相信以虚拟现实的发展来看,这并没有什么问题,七鑫易维也更侧重于交互应用。

Oculus的老东家Facebook高管曾与七鑫易维洽谈,希望将眼球追踪技术应用到Oculus二代产品中,而国内公司也希望能将眼球追踪技术引入到下一代产品中,为其加入有竞争力的筹码。

目前VR正处在一个发展的高速期,虚拟现实在游戏和互动娱乐的前景已经很清晰了,但是整个行业仍处于襁褓期——我们不知道什么样的体验才是最好的,如何为虚拟现实寻找更多的落地方式,除了像Oculus这样的虚拟现实老大哥外,国内外在专注技术研发的创新公司也在促进VR的发展。

诚然,眼球追踪和控制并非全新的技术产物,它早已在霍金和成千上万的残疾人士身上发挥出自己的作用,而运用于VR行业,也是一种新的尝试。一位资深VR行业内人士告诉雷锋网记者:

“将这一技术应用到VR行业中来,结合NVIDIA的Gameworks VR来做多分辨率的视口渲染(眼球聚焦的区域采用高分辨率,其它区域采用低分辨率),也的确是一种可行的优化策略;亦或是将它作为一种结合头盔的新奇互动方式,用在未来的VR游戏中也未尝不可。不过这些构想恐怕都并非直击行业的痛点,而是更接近当年的Leap Motion或者Myo那样,也许将引发一个有趣的话题,却难免后继乏力,无法真正普及到一般使用者中间。”

诸如此类的技术如何落地,如何真正的成为行业必需品或者某个应用领域的敲门砖,我们拭目以待。

(来源:雷锋网)

【来源:】