La Vision Pro d’Apple continue de faire parler d’elle. Au cours des dernières heures, le tweet de Sterling Crispin, l’un des designers qui a largement contribué au développement de la visionneuse, est devenu viral.

Dans le long message, dans lequel il souligne comment il a passé 10% de son temps à développer Vision Pro, Crispin se concentre sur un aspect central : le prototypage neurotechnologique.

Crispin explique que lors de la conception du casque avec une équipe, il s’est concentré sur des recherches très ambitieuses sur la neurotechnologie.

« Le travail que j’ai effectué au sein d’une petite équipe a permis de donner le feu vert à cette catégorie de produits et je pense qu’elle pourrait un jour avoir un impact mondial significatif. La plupart du travail que j’ai effectué chez Apple est sous NDA et a couvert un large éventail de sujets et d’approches. Mais certaines choses sont devenues publiques grâce aux brevets », poursuit l’ingénieur qui souligne à quel point son travail a consisté à détecter l’état mental des utilisateurs à partir de données issues de leur corps et de leur cerveau lors d’expériences immersives.

« Ainsi, lorsqu’un utilisateur se trouve dans une expérience de réalité mixte ou de réalité virtuelle, les modèles d’IA tentent de prédire s’il est curieux, vagabond, effrayé ou attentif en se basant sur une expérience passée ou sur un autre état cognitif. Ces données peuvent être détectées grâce à des mesures telles que le suivi oculaire, l’activité électrique dans le cerveau, les battements et rythmes cardiaques, mais aussi l’activité musculaire, la densité sanguine dans le cerveau, la pression artérielle, la conductance cutanée, etc. poursuit Crispin qui précise que l’un des les résultats les plus intéressants obtenus concernaient la prédiction des clics sur le contenu.

Lire aussi : Apple AR : l’unité coûte deux fois plus cher que Meta Quest Pro !

« Le biofeedback peut être créé avec le cerveau d’un utilisateur en surveillant le comportement des yeux et en repensant l’interface utilisateur en temps réel. C’est une interface cerveau ordinateur par les yeux, brute mais très intéressante », évidemment moins invasive que les interfaces chirurgicales.

D’autres systèmes mis en place pour détecter l’état cognitif consistaient à faire clignoter rapidement des images ou des sons, pour détecter la réaction des utilisateurs.

« Un autre brevet détaille l’utilisation de l’apprentissage automatique et des signaux corporels et cérébraux pour prédire à quel point les utilisateurs sont concentrés ou détendus, ou combien ils apprennent. Armé de ces données, vous pouvez découvrir comment mettre à jour vos environnements virtuels pour améliorer les expériences. Imaginez un environnement adaptatif immersif qui vous aide à apprendre, à travailler ou à vous détendre en changeant ce que vous voyez et entendez en arrière-plan », est un autre extrait intéressant du tweet.

La prédiction de Crispin est que pour voir le potentiel de la réalité virtuelle et de la technologie, il faudra attendre au moins jusqu’à la fin de la décennie actuelle.