Une initiative soutenue par Facebook visant à permettre aux gens de taper en pensant s’est terminée par de nouvelles découvertes publiées aujourd’hui.

Le projet Steno était une collaboration de plusieurs années entre Facebook et le Chang Lab de l’Université de Californie à San Francisco, visant à créer un système qui traduit l’activité cérébrale en mots. Un nouveau document de recherche, publié dans Le Journal de médecine de la Nouvelle-Angleterre, montre un potentiel de mise en œuvre de la technologie pour les personnes ayant des troubles de la parole.

Mais parallèlement à la recherche, Facebook a clairement indiqué qu’il renonçait à l’idée d’un appareil commercial de lecture cérébrale monté sur la tête et construisait plutôt des interfaces au poignet. La nouvelle recherche n’a pas d’applicabilité claire pour un produit technologique grand public, et dans un communiqué de presse, Facebook a déclaré qu’il « recentrait » ses priorités loin des interfaces cerveau-ordinateur montées sur la tête.

« Pour être clair, Facebook n’a aucun intérêt à développer des produits nécessitant des électrodes implantées », a déclaré Facebook dans un communiqué de presse. Ailleurs dans le communiqué, il a noté que « bien que nous croyions toujours au potentiel à long terme des technologies optiques BCI montées sur la tête, nous avons décidé de concentrer nos efforts immédiats sur une approche d’interface neuronale différente qui a un chemin à plus court terme vers marché. »

Les recherches en cours du Chang Lab consistent à utiliser des interfaces cerveau-ordinateur (BCI) implantées pour restaurer les capacités de parole des personnes. Le nouvel article se concentre sur un participant qui a perdu sa capacité de parler après un accident vasculaire cérébral il y a plus de 16 ans. Le laboratoire a équipé l’homme d’électrodes implantées qui pourraient détecter l’activité cérébrale. L’homme a ensuite passé 22 heures (réparties sur plus d’un an de sessions) à former un système pour reconnaître des modèles spécifiques. Dans cette formation, il essaierait de parler des mots isolés à partir d’un ensemble de vocabulaire de 50 mots. Dans un autre cours de formation, il a essayé de produire des phrases complètes en utilisant ces mots, qui comprenaient des verbes et des pronoms de base (comme « am » et « je ») ainsi que des noms utiles spécifiques (comme « lunettes » et « ordinateur ») et des commandes ( comme « oui » et « non »).

Cette formation a aidé à créer un modèle de langage qui pourrait réagir lorsque l’homme pensait à dire des mots particuliers, même s’il ne pouvait pas réellement les prononcer. Les chercheurs ont affiné le modèle pour prédire lequel des 50 mots auquel il pensait, en intégrant un système de probabilité pour les modèles de langue anglaise similaire à un clavier de smartphone prédictif. Les chercheurs ont signalé que dans les essais finaux, le système pouvait décoder un taux médian de 15,2 mots par minute, en comptant les erreurs, ou 12,5 mots par minute avec uniquement des mots correctement décodés.

Le Chang Lab a publié des recherches antérieures sur le projet Steno en 2019 et 2020, montrant que les réseaux d’électrodes et les modèles prédictifs peuvent créer des systèmes de typage de la pensée relativement rapides et sophistiqués. De nombreuses options de saisie antérieures impliquaient de pousser mentalement un curseur autour d’un clavier à l’écran à l’aide d’un implant cérébral, bien que d’autres chercheurs aient expérimenté des méthodes telles que la visualisation de l’écriture manuscrite. Alors que les recherches antérieures du laboratoire impliquaient de décoder l’activité cérébrale de personnes qui parlaient normalement, ce dernier article démontre que cela fonctionne même lorsque les sujets ne parlent pas (et ne peuvent pas) parler à haute voix.

Dans un communiqué de presse, le président de neurochirurgie de l’UCSF, Eddie Chang, a déclaré que la prochaine étape consisterait à améliorer le système et à le tester avec davantage de personnes. « Du côté du matériel, nous devons construire des systèmes qui ont une résolution de données plus élevée pour enregistrer plus d’informations du cerveau, et plus rapidement. Du côté des algorithmes, nous avons besoin de systèmes capables de traduire ces signaux très complexes du cerveau en mots parlés, pas en texte mais en mots parlés oraux et audibles. » Une priorité majeure, dit Chang, est d’élargir considérablement le vocabulaire.

Les recherches d’aujourd’hui sont précieuses pour les personnes qui ne sont pas servies par les claviers et autres interfaces existantes, car même un vocabulaire limité peut les aider à communiquer plus facilement. Mais il est loin de l’objectif ambitieux que Facebook s’est fixé en 2017 : un système BCI non invasif qui permettrait aux gens de taper 100 mots par minute, comparable aux vitesses supérieures qu’ils pourraient atteindre sur un clavier traditionnel. Les dernières recherches de l’UCSF impliquent une technologie implantée et ne parviennent pas à atteindre ce nombre – ni même les vitesses que la plupart des gens peuvent atteindre sur un clavier de téléphone. Cela est de mauvais augure pour les perspectives commerciales d’une technologie comme un bandeau externe qui mesure optiquement les niveaux d’oxygène dans le cerveau, que Facebook Reality Labs (l’aile matérielle de réalité virtuelle et augmentée de l’entreprise) a dévoilé sous forme de prototype.

Depuis lors, Facebook a acquis la société de bracelets d’électromyographie (EMG) CTRL-Labs en 2019, lui offrant une option de contrôle alternative pour la réalité augmentée et la réalité virtuelle. « Nous n’en sommes encore qu’aux premiers stades de l’exploitation du potentiel de l’électromyographie au poignet (EMG), mais nous pensons que ce sera l’entrée principale des lunettes AR, et l’application de ce que nous avons appris sur la BCI nous aidera à y arriver plus rapidement. », explique Sean Keller, directeur de recherche de Facebook Reality Labs. Facebook n’abandonnera pas complètement le système d’interface cérébrale monté sur la tête, mais il prévoit de rendre le logiciel open source et de partager les prototypes matériels avec des chercheurs extérieurs, tout en mettant fin à ses propres recherches.