眼球跟踪系统可以让观众产生视觉效果

机器愿景尚未破解人类正在思考的代码，但由于眼跟踪技术的稳步前进，猜测我们的注意力更好。

大多数眼跟踪系统今天共享机器视觉同样的组件基本组件：相机，光源和图像处理器。The difference is that eye-tracking systems turn the camera back on the viewer to track and interpret the activity of the eye, whether that be where and how long the eye fixates on something, what features attract its gaze, or how the eyes’ pupils react to visual stimuli. Eye tracking needn’t be a passive observer of eye movement either: The technology also promises to augment the computer mouse and keyboard by enabling navigation and control with a gaze.

由雷蒙德道奇和T。S1901年，眼球跟踪比机器视觉早了半个多世纪。最近，眼球跟踪技术吸引了科技行业领头羊的目光。在2016年和2017年的几个月里，谷歌、苹果和Facebook分别收购了眼球追踪初创公司Eyefluence、SensoMotoric Instruments和eye Tribe。微软还没有加入购买热潮，但它推出了新的应用程序编程接口，增加了对Windows的视线跟踪支持，并进一步与Tobii和EyeTech DS等领先的系统集成商合作，发布了这项技术的新行业标准。

混合现实渲染
如果有一个普遍的目标驾驶这些最近的收购，则可能是为虚拟现实（VR）和增强现实（AR）应用程序开发商业成功的头饰。眼睛跟踪技术对两者都至关重要。

它是FOVEATED渲染的基本启动器，这是一种数字显示技术，其仅锐化眼睛聚焦的VR图像的一部分。与现实生活视觉一样，周边仍然模糊。用于VR耳机，FOVEATED渲染显着降低了图形处理单元（GPU）上的负载，允许电流发电GPU以更低的成本和功率预算渲染4K显示质量和更高的帧速率。

眼跟踪技术支持类似的功能聚焦渲染 - 在AR头饰中，其中挑战是仅通过用户的愿景选择性地显示最相关的信息。太多的信息压倒了用户或遮挡他们的观点。通过识别眼睛正在寻找的内容，AR耳机可以实现聚焦渲染，以便仅提供对象对象的数据，并为用户提供更大的控制。

组件规格可能因应用而异，但最具可穿戴的眼动追踪系统依赖于一对位于眼睛下方的CMOS相机并在850-900nm范围内操作。虽然眼睛由红外LED照亮，但是摄像机通常配备带通滤波器，以最小化来自可见光的角膜的反射。结果是眼睛的高对比度偏移图像，其使GPU或现场可编程门阵列（FPGA）能够容易地解析两个瞳孔，计算每个瞳孔，并且通过确定这些向量会聚的位置，识别其方向和深度焦点。

“这通常仅适用于ARM长度内的[跟踪]对象，”克莱姆森大学视觉计算教授Andrew Duchowski解释道。“超越这个范围，眼睛基本上看无限。”

因此，大多数眼睛跟踪系统仍然在近距离操作的观众。除了可穿戴耳机，眼球跟踪系统还可以嵌入独立的桌面配置或计算机显示器中，以实现用户界面、广告设计或医学研究和诊断。眼睛跟踪也是汽车驾驶员辅助系统的一个关键组成部分，该系统通过检测驾驶员在道路上的注意力来促进安全驾驶。

眼镜规格
在60和120Hz之间的帧速率通常足以准确地样本 - 或眼球 - 在这些应用中的大部分应用中。例如，在这些帧速率内运行的相机的AR / VR耳机将阻止用户检测眼睛固定和图像渲染之间的滞后。更复杂的系统，例如旨在跟踪微观的研究或诊断神经系统条件的那些系统必须以300 Hz和更高的帧速率运行。

“头戴式系统一般要求两台摄像机之间的精确同步，”FLIR系统的产品经理Mike Fussell说。“通过GPIO触发的低延迟触发[通用输入输出]使其成为可能。对于我们的Firefly产品，通过眼睛跟踪的要求，用于供电照明的眼睛跟踪并将两台相机与尽可能小的包装同步的要求，引发了外部电源和同步的GPIO引脚。“

增加帧速率和加工性能也对自定义图像处理的需求很高，以处理传入传感器数据，Xilinx市场开发总监Dale Hitt Notes Dale Hitt。“然而，还有一种从简单的计算机视觉算法到AI推理处理的过渡，以提供更强大的跟踪和高级能力，如令人讨厌和情绪状态检测，”Hitt说。“通过Xilinx [FPGA]技术，眼跟踪系统开发人员可以部署低延迟AI推断硬件加速，自定义计算机视觉硬件管道和高速图像处理能力，以满足最苛刻的要求。”

图像传感器分辨率不太重要，尽管对眼睛跟踪系统仍然很重要。对于头戴式跟踪系统，FUSSELL表示，0.4至1.6 MP的分辨率范围是大多数FLIR的眼睛跟踪客户坐下。

“较高的像素数为一个更大的头盒，这是眼跟踪的重要性能度量，”EyeTech Digital Systems的销售和营销总监Keith Jackson说。头盒有效地定义了用户头部可以移动的三维区域，而不会显着减少眼睛跟踪系统的性能。

相反，较高的像素密度也有助于跟踪较小目标尺寸内的凝视。例如，Eyetech目前的眼睛跟踪系统旨在提供0.5至1度的精度，这对应于从刚刚超过两英尺的计算机显示器上的0.5英寸精度。Eyetech还制作了高达10英尺的距离工作的眼罩。

我们是否能够对未来同行，我们在眼睛跟踪中看到了什么进步？“戴上我的未来帽子，我会说堆叠，背面照亮的CMOS传感器将使较小的图像传感器能够高速操作和车载处理，”FUSSELL说。“在某些时候，一些图像传感器可能能够在传感器上执行眼睛跟踪。”