Pensez-y comme la technologie d’assistance rencontre la Silicon Valley.

Les chercheurs disent que leur canne « intelligente » pourrait un jour aider les personnes aveugles à naviguer dans des tâches dans un monde conçu pour les personnes voyantes – de l’achat d’une boîte de céréales à l’épicerie à la sélection d’un endroit privé pour s’asseoir dans une cafétéria bondée.

« J’aime vraiment faire les courses et passer beaucoup de temps dans le magasin », a déclaré Shivendra Agrawal, doctorante au Département d’informatique. « Beaucoup de gens ne peuvent pas le faire, cependant, et cela peut être très restrictif. Nous pensons que c’est un problème résoluble. »

Dans une étude publiée en octobre, Agrawal et ses collègues du laboratoire collaboratif d’intelligence artificielle et de robotique ont fait un pas de plus vers la résolution de ce problème.

Le bâton de marche de l’équipe ressemble aux cannes blanches et rouges que vous pouvez acheter chez Walmart. Mais il comprend également quelques ajouts : à l’aide d’une caméra et d’une technologie de vision par ordinateur, la canne cartographie et catalogue le monde qui l’entoure. Il guide ensuite les utilisateurs en utilisant des vibrations dans la poignée et avec des instructions vocales, telles que « tendez un peu vers votre droite ».

L’appareil n’est pas censé remplacer la conception d’endroits comme les épiceries pour qu’ils soient plus accessibles, a déclaré Agrawal. Mais il espère que le prototype de son équipe montrera que, dans certains cas, l’IA peut aider des millions d’Américains à devenir plus indépendants.

« L’IA et la vision par ordinateur s’améliorent, et les gens les utilisent pour construire des voitures autonomes et des inventions similaires », a déclaré Agrawal. « Mais ces technologies ont également le potentiel d’améliorer la qualité de vie de nombreuses personnes. »

Assieds-toi

Agrawal et ses collègues ont d’abord exploré ce potentiel en s’attaquant à un problème familier : où suis-je assis ?

« Imaginez que vous êtes dans un café », a-t-il dit. « Vous ne voulez pas vous asseoir n’importe où. Vous vous asseyez généralement près des murs pour préserver votre intimité, et vous n’aimez généralement pas vous asseoir face à face avec un étranger. »

Des recherches antérieures ont suggéré que la prise de ce genre de décisions est une priorité pour les personnes aveugles ou malvoyantes. Pour voir si leur canne intelligente pouvait les aider, les chercheurs ont installé une sorte de café dans leur laboratoire, avec plusieurs chaises, des clients et quelques obstacles.

Étudiez les sujets attachés sur un sac à dos avec un ordinateur portable et ont ramassé le bâton de marche intelligent. Ils pivotèrent pour inspecter la pièce avec une caméra attachée près du manche de la canne. Comme une voiture autonome, des algorithmes exécutés à l’intérieur de l’ordinateur portable ont identifié les différentes caractéristiques de la pièce, puis ont calculé l’itinéraire vers un siège idéal.

L’équipe a présenté ses conclusions cet automne lors de la Conférence internationale sur les robots et les systèmes intelligents à Kyoto, au Japon. Les chercheurs de l’étude comprenaient Bradley Hayes, professeur adjoint d’informatique, et la doctorante Mary Etta West.

L’étude a montré des résultats prometteurs : les sujets ont pu trouver la bonne chaise dans 10 essais sur 12 avec différents niveaux de difficulté. Jusqu’à présent, les sujets ont tous été des personnes voyantes portant des bandeaux sur les yeux. Mais les chercheurs prévoient d’évaluer et d’améliorer leur appareil par des travailleurs aveugles ou malvoyants une fois que la technologie sera plus fiable.

« Le travail de Shivendra est la combinaison parfaite d’innovation technique et d’application percutante, allant au-delà de la navigation pour apporter des avancées dans des domaines sous-explorés, comme aider les personnes malvoyantes à respecter les conventions sociales ou à trouver et saisir des objets », a déclaré Hayes.

Allons faire du shopping

Prochaine étape pour le groupe : faire les courses.

Dans une nouvelle recherche, que l’équipe n’a pas encore publiée, Agrawal et ses collègues ont adapté leur appareil pour une tâche qui peut être intimidante pour n’importe qui : trouver et saisir des produits dans des allées remplies de dizaines de choix d’apparence et de sensation similaires.

Encore une fois, l’équipe a mis en place un environnement de fortune dans leur laboratoire : cette fois, une étagère d’épicerie remplie de plusieurs sortes de céréales. Les chercheurs ont créé une base de données de photos de produits, telles que des boîtes de Honey Nut Cheerios ou Apple Jacks, dans leur logiciel. Les sujets de l’étude ont ensuite utilisé la canne pour scanner l’étagère, à la recherche du produit qu’ils voulaient.

« Il attribue un score aux objets présents, en sélectionnant le produit le plus probable », a déclaré Agrawal. « Ensuite, le système émet des commandes telles que » déplacez-vous un peu vers la gauche ». »

Il a ajouté qu’il faudra un certain temps avant que la canne de l’équipe ne soit entre les mains des vrais acheteurs. Le groupe, par exemple, souhaite rendre le système plus compact, en le concevant de manière à ce qu’il puisse fonctionner avec un smartphone standard attaché à une canne.

Mais les chercheurs en interaction homme-robot espèrent également que leurs résultats préliminaires inspireront d’autres ingénieurs à repenser ce dont la robotique et l’IA sont capables.

« Notre objectif est de faire mûrir cette technologie mais aussi d’attirer d’autres chercheurs dans ce domaine de la robotique d’assistance », a déclaré Agrawal. « Nous pensons que la robotique d’assistance a le potentiel de changer le monde. »