苹果 Vision Pro 监测你的双眼，可预测点击动作

daisiesdontdoit

被苹果称为「空间运算设备」的第一款 Vision Pro 终于正式亮相，产品尚未正式上市、来到用户手上之前，外界对它有着许多好奇和想像。

随着苹果揭晓 Vision Pro，曾在该公司的担任神经科技原型研究人员的 Sterling Crispin 发表推文，不仅分享他对开发 Vision Pro 所做的贡献，更透露它还未对用户好好展现的强大科技力。

Vision Pro 可将数位内容无缝融入真实世界，并拥有全 3D 使用者介面，透过用户的眼睛、双手或者声音，能以自然、直觉的方式操控，仿佛用意念就能控制一切。由于 Vision Pro 内建了高效眼追踪系统，使用高速摄影机和一圈 LED 投射不可见的光图像至用户双眼，以获取即时的直觉回馈。

Sterling Crispin 在苹果所做的工作多是有关用户的沉浸式体验，根据用户身体和大脑反应的数据资料来侦测他们的心理状态。大部分工作虽然有签保密协议，不得对外透露，但有些内容已经透过专利对外公开。

他举例，Vision Pro 可在用户点击某处之前预测点击行为，看起来很像读心术，实际却能透过 Vision Pro 办到。

当用户处在 VR（Virtual Reality，虚拟实境）或 MR（Mixed Reality，混合实境）环境下，AI 模型试图预测用户是不是感受到好奇、思绪漫游、害怕、注意力集中、回忆过去经历或其他状态，这些心理状态可以透过眼动追踪、脑电活动、心跳和心律、肌肉活动、脑中血液密度、血压、皮肤导电等量测来推断。

要能预测用户的点击行为，绝对是一项艰巨的挑战。其一观察到用户的瞳孔在点击前会做出反应，部分原因可能是用户预期在点击后会发生一些情况，因此透过监测用户的眼动行为来建立大脑的生物回馈，并让 UI 来适应用户。其他推断心理状态的方式，像是对用户快速闪烁视觉效果或播放声音，然后监测他们的反应。

有另一项专利详细介绍如何使用机器学习以及来自身体和大脑的信号预测用户的注意力、放松程度或学习情况，然后更新虚拟环境以强化当下状态，例如透过改变背景可看到、可听到的内容，帮助用户完成工作、学习或者放松。

然而值得思考的是，苹果强调以隐私和安全为基础打造 Vision Pro，宣称用户的浏览内容和眼追踪资讯不会分享给苹果本身、第三方网站或服务，来自摄影机和其他感测器的资料则直接在系统端处理，这对用户而言就万无一失吗？用户的双眼时时刻刻被监测，而如此贴近用户真实且即时的行为纪录，是否会暗地运用在其他用途上？外界存在质疑的声音。

苹果这次大会最后的「One more thing」端出传闻已久的 Vision Pro，带领人们从「PC 运算」、「行动运算」大步跨入「空间运算」新领域。距离明年上市还有一段时间，苹果不只要努力让用户有感体验，对于质疑安全性的声音也应有更具体的回应。

https://technews.tw/2023/06/06/apple-vision-pro-predicting-before-you-do/