Исследователь нейротехнологических прототипов Стерлинг Криспин, работавший в течение 3,5 лет в команде Vision Pro, после анонса гарнитуры Apple поделился несколькими интересными инсайдами – в частности тем, какие именно эксперименты проводила компания для того, чтобы разработать новейшую технологию.

Большинство опытов невозможно раскрыть из-за договора о неразглашении, однако некоторые стали публичными из-за патентов, поэтому Криспин решил кратко вспомнить именно о них. Основная часть работы, по словам исследователя, была посвящена «‎выявлению психологического состояния пользователей» на основе анализа данных их тела и мозга, когда те находились в условиях «‎погружения» в виртуальную реальность.

Модели искусственного интеллекта Apple таким образом учились предсказывать ощущения и эмоции людей – например, испытывают ли они любопытство, страх, на что обращают внимание и вспоминают ли прошлый опыт. По словам исследователя, все эти данные могут дать подробные измерения – такие, как отслеживание движения глаз, электрической активности мозга, частоты сердечных сокращений, мышечной активности, уровня артериального давления и т.д.

В результате удавалось предугадать даже то, что пользователь собирается нажать еще до того, как он это сделал.

Остальные трюки для определения когнитивного состояния пользователей предполагали быструю демонстрацию визуальных изображений или звука способом, который они не могли воспринимать, а затем измерять их реакции на это. Другой патент подробно рассказывает об использовании машинного обучения и сигналов от тела и мозга, чтобы предположить, насколько человек сосредоточен или расслаблен. Далее виртуальную среду обновляли для улучшения этих состояний.