Un biostatisticien de Harvard repense les plans d’utilisation des montres Apple dans le cadre d’une étude de recherche après avoir découvert des incohérences dans les données de variabilité de la fréquence cardiaque collectées par les appareils. Étant donné qu’Apple modifie les algorithmes de la montre selon les besoins, les données de la même période peuvent changer sans avertissement.

« Ces algorithmes sont ce que nous appellerions des boîtes noires, ils ne sont pas transparents. Il est donc impossible de savoir ce qu’ils contiennent », a déclaré JP Onnela, professeur agrégé de biostatistique à la Harvard TH Chan School of Public Health et développeur de la plate-forme de données open source Beiwe. Le bord.

Onnela n’inclut généralement pas les appareils portables commerciaux comme l’Apple Watch dans les études de recherche. Pour la plupart, ses équipes utilisent des appareils de recherche conçus pour collecter des données pour des études scientifiques. Dans le cadre d’une collaboration avec le département de neurochirurgie du Brigham and Women’s Hospital, cependant, il s’est intéressé aux produits disponibles dans le commerce. Il savait qu’il y avait parfois des problèmes de données avec ces produits, et son équipe voulait vérifier leur gravité avant de commencer.

Ainsi, ils ont vérifié les données de fréquence cardiaque que son collaborateur Hassan Dawood, chercheur au Brigham and Women’s Hospital, a exportées depuis son Apple Watch. Dawood a exporté ses données quotidiennes de variabilité de la fréquence cardiaque à deux reprises : une fois le 5 septembre 2020 et une deuxième fois le 15 avril 2021. Pour l’expérience, ils ont examiné les données collectées au cours de la même période, de début décembre 2018 à septembre 2020.

Étant donné que les deux ensembles de données exportés comprenaient des données de la même période, les données des deux ensembles devraient théoriquement être identiques. Onnela dit qu’il s’attendait à des différences. La « boîte noire » des algorithmes portables est un défi constant pour les chercheurs. Plutôt que d’afficher les données brutes collectées par un appareil, les produits ne permettent généralement aux chercheurs d’exporter des informations qu’après les avoir analysées et filtrées via un algorithme quelconque.

Les entreprises modifient leurs algorithmes régulièrement et sans avertissement, de sorte que l’exportation de septembre 2020 peut avoir inclus des données analysées à l’aide d’un algorithme différent de l’exportation d’avril 2021. «Ce qui était surprenant, c’est à quel point ils étaient différents», dit-il. « C’est probablement l’exemple le plus propre que j’ai vu de ce phénomène. » Il a publié les données dans un article de blog la semaine dernière.

Apple n’a pas répondu à une demande de commentaire.

Il était frappant de voir les différences présentées si clairement, déclare Olivia Walch, chercheuse en sommeil qui travaille avec des données sur les appareils portables et les applications à l’Université du Michigan. Walch a longtemps préconisé que les chercheurs utilisent des données brutes – des données extraites directement des capteurs d’un appareil, au lieu d’être filtrées via son logiciel. « C’est une validation, car je suis dans ma petite boîte à savon sur les données brutes, et c’est bien d’avoir un exemple concret où cela compte vraiment », dit-elle.

Les algorithmes en constante évolution rendent presque prohibitif l’utilisation de vêtements commerciaux pour la recherche sur le sommeil, explique Walch. Les études du sommeil coûtent déjà cher. « Allez-vous pouvoir attacher quatre FitBits à quelqu’un, chacun exécutant une version différente du logiciel, puis les comparer ? Probablement pas. »

Les entreprises sont incitées à modifier leurs algorithmes pour améliorer leurs produits. « Ils ne sont pas super incités à nous dire comment ils changent les choses », dit-elle.

C’est un problème pour la recherche. Onnela l’a comparé au suivi du poids corporel. « Si je voulais sauter sur une échelle chaque semaine, je devrais utiliser la même échelle à chaque fois », dit-il. Si cette échelle était modifiée à son insu, les changements de poids au jour le jour ne seraient pas fiables. Pour quelqu’un qui n’a qu’un intérêt occasionnel dans le suivi de sa santé, cela peut être bien – les différences ne seront pas majeures. Mais dans la recherche, la cohérence compte. « C’est le problème », dit-il.

Quelqu’un pourrait, par exemple, mener une étude à l’aide d’un appareil portable et arriver à une conclusion sur la façon dont les habitudes de sommeil des gens ont changé en fonction des ajustements de leur environnement. Mais cette conclusion pourrait n’être vraie qu’avec cette version particulière du logiciel du portable. « Peut-être que vous obtiendriez un résultat complètement différent si vous utilisiez simplement un modèle différent », dit Walch.

Les données Apple Watch de Dawood ne proviennent pas d’une étude et ne sont qu’un exemple informel. Mais cela montre l’importance d’être prudent avec les appareils commerciaux qui ne permettent pas l’accès aux données brutes, dit Onnela. C’était suffisant pour faire reculer son équipe des plans d’utilisation des appareils dans les études. Il pense que les appareils portables commerciaux ne devraient être utilisés que si des données brutes sont disponibles ou, au minimum, si les chercheurs sont en mesure d’être avertis lorsqu’un algorithme va changer.

Dans certaines situations, les données portables pourraient toujours être utiles. Les informations sur la variabilité de la fréquence cardiaque ont montré des tendances similaires aux deux moments – les données ont augmenté et diminué en même temps. « Si vous vous souciez de choses à cette échelle macro, vous pouvez passer l’appel que vous continuerez à utiliser l’appareil », explique Walch. Mais si la variabilité spécifique de la fréquence cardiaque calculée chaque jour est importante pour une étude, il peut être plus risqué de s’appuyer sur l’Apple Watch, dit-elle. « Cela devrait faire réfléchir les gens sur l’utilisation de certains appareils portables, si le tapis risque d’être arraché sous leurs pieds. »