Le système réutilise la technologie des nouveaux microphones à conduction osseuse, connus sous le nom d’unités de prise de voix (VPU), qui détectent uniquement les ondes acoustiques qui se déplacent le long de la surface des objets. Il fonctionne dans des environnements bruyants, le long de géométries étranges telles que des jouets et des bras, et sur des tissus doux tels que des vêtements et des meubles.

Appelé SAWSense, pour les ondes acoustiques de surface sur lesquelles il s’appuie, le système reconnaît différentes entrées, telles que les tapotements, les rayures et les balayages, avec une précision de 97 %. Dans une démonstration, l’équipe a utilisé une table normale pour remplacer le pavé tactile d’un ordinateur portable.

« Cette technologie va vous permettre de traiter, par exemple, toute la surface de votre corps comme une surface interactive », explique Yasha Iravantchi, doctorante UM en informatique et ingénierie. « Si vous mettez l’appareil sur votre poignet, vous pouvez faire des gestes sur votre propre peau. Nous avons des résultats préliminaires qui démontrent que c’est tout à fait faisable. »

Les tapotements, balayages et autres gestes envoient des ondes acoustiques le long des surfaces des matériaux. Le système classe ensuite ces ondes avec l’apprentissage automatique pour transformer tout contact en un ensemble robuste d’entrées. Le système a été présenté la semaine dernière à la Conférence 2023 sur les facteurs humains dans les systèmes informatiques, où il a reçu le prix du meilleur article.

Alors que de plus en plus d’objets continuent d’intégrer une technologie intelligente ou connectée, les concepteurs sont confrontés à un certain nombre de défis lorsqu’ils tentent de leur donner des mécanismes de saisie intuitifs. Cela entraîne de nombreuses incorporations maladroites de méthodes de saisie telles que des écrans tactiles, ainsi que des boutons mécaniques et capacitifs, explique Iravantchi. Les écrans tactiles peuvent être trop coûteux pour permettre des entrées gestuelles sur de grandes surfaces comme les comptoirs et les réfrigérateurs, tandis que les boutons ne permettent qu’un seul type d’entrée à des emplacements prédéfinis.

Les approches passées pour surmonter ces limitations incluaient l’utilisation de microphones et de caméras pour les entrées audio et gestuelles, mais les auteurs affirment que des techniques comme celles-ci ont une utilité limitée dans le monde réel.

« Lorsqu’il y a beaucoup de bruit de fond ou que quelque chose s’interpose entre l’utilisateur et la caméra, les entrées gestuelles audio et visuelles ne fonctionnent pas bien », a déclaré Iravantchi.

Pour surmonter ces limitations, les capteurs alimentant SAWSense sont logés dans une chambre hermétiquement fermée qui bloque complètement les bruits ambiants même très forts. La seule entrée se fait par un système masse-ressort qui conduit les ondes acoustiques de surface à l’intérieur du boîtier sans jamais entrer en contact avec les sons de l’environnement environnant. Lorsqu’il est combiné avec le logiciel de traitement du signal de l’équipe, qui génère des caractéristiques à partir des données avant de les alimenter dans le modèle d’apprentissage automatique, le système peut enregistrer et classer les événements le long de la surface d’un objet.

« Il existe d’autres moyens de détecter les vibrations ou les ondes acoustiques de surface, comme les capteurs piézo-électriques ou les accéléromètres », a déclaré Alanson Sample, professeur agrégé de génie électrique et d’informatique à l’UM, « mais ils ne peuvent pas capturer la large gamme de fréquences. que nous devons faire la différence entre un coup et une égratignure, par exemple. »

La haute fidélité des VPU permet à SAWSense d’identifier un large éventail d’activités sur une surface au-delà des événements tactiles de l’utilisateur. Par exemple, un VPU sur un comptoir de cuisine peut détecter le hachage, le brassage, le mélange ou le fouettage, ainsi que l’identification des appareils électroniques en cours d’utilisation tels qu’un mélangeur ou un four à micro-ondes.

« Les VPU font un bon travail de détection des activités et des événements qui se produisent dans une zone bien définie », a déclaré Iravantchi. « Cela permet la fonctionnalité fournie avec un objet intelligent sans les problèmes de confidentialité d’un microphone standard qui détecte toute la pièce, par exemple. »

Lorsque plusieurs VPU sont utilisés en combinaison, SAWSense peut activer des entrées plus spécifiques et sensibles, en particulier celles qui nécessitent une sensation d’espace et de distance comme les touches d’un clavier ou les boutons d’une télécommande.

De plus, les chercheurs explorent l’utilisation des VPU pour la détection médicale, y compris la détection de bruits délicats tels que les bruits des articulations et des tissus conjonctifs lorsqu’ils se déplacent. Les données audio haute fidélité fournies par les VPU pourraient permettre des analyses en temps réel sur la santé d’une personne, explique Sample.

La recherche est partiellement financée par Meta Platforms Inc.

L’équipe a déposé une demande de protection par brevet avec l’aide d’UM Innovation Partnerships et recherche des partenaires pour mettre la technologie sur le marché.