Une nouvelle étude menée par des chercheurs du MIT et d’Empirical Health a utilisé 3 millions de jours de données provenant de l’Apple Watch pour développer un modèle de base capable de prédire des conditions médicales avec une précision impressionnante. Voici les détails.
Un peu de contexte
Alors que Yann LeCun était encore directeur scientifique de l’IA chez Meta, il a proposé l’Architecture Prédictive à Émaillage Commun, ou JEPA, qui enseigne essentiellement à une IA à inférer le sens des données manquantes plutôt que d’essayer de reconstruire les valeurs précises de ces données.
Autrement dit, lorsque l’IA fait face à des lacunes de données, elle apprend à prédire ce que ces parties manquantes représentent, plutôt que d’essayer de deviner leur contenu exact. Par exemple, pour une image où certaines portions sont masquées, JEPA intégrerait les régions visibles et masquées dans un espace partagé et ferait inférer la représentation de la zone masquée à partir du contexte visible.
Lors de la présentation de son modèle I-JEPA en 2023, Meta a résumé la vision de LeCun : « Son objectif est de créer des machines capables d’apprendre des modèles internes de fonctionnement du monde, afin qu’elles puissent apprendre plus rapidement, planifier des tâches complexes et s’adapter facilement à des situations inconnues ».
Depuis la publication de l’étude originale sur JEPA, cette architecture est devenue la base d’un domaine explorant les « modèles du monde », marquant un départ par rapport à la prédiction de tokens des systèmes LLM et GPT.
LeCun a d’ailleurs récemment quitté Meta pour fonder une entreprise entièrement dédiée aux modèles du monde, qu’il considère comme le vrai chemin vers l’AGI.
Donc, 3 millions de jours de données Apple Watch ?
Revenons à l’étude en question. Publiée il y a quelques mois, le document intitulé JETS : A Self-Supervised Joint Embedding Time Series Foundation Model for Behavioral Data in Healthcare a été récemment accepté à un atelier lors du NeurIPS.
Il adapte l’approche de joint-embedding de JEPA aux séries temporelles multivariées irrégulières, comme les données portables à long terme où la fréquence cardiaque, le sommeil, l’activité physique, et d’autres mesures apparaissent de manière inconsistante ou avec de grands écarts dans le temps.
Pour chaque participant, 63 métriques distinctes ont été enregistrées, classées en cinq domaines physiologiques et comportementaux : santé cardiovasculaire, santé respiratoire, sommeil, activité physique et statistiques générales.
Fait intéressant, seulement 15 % des participants avaient des antécédents médicaux étiquetés pour évaluation, signifiant que 85 % des données auraient été inutilisables dans des approches d’apprentissage supervisé traditionnelles. À la place, JETS a d’abord appris à partir de l’ensemble de données complet via un pré-entraînement auto-supervisé, avant d’être affiné sur le sous-ensemble étiqueté.
Pour donner vie à ce processus, les chercheurs ont créé des triplets de données correspondant à la jour, la valeur et le type de métrique. Cela a permis de convertir chaque observation en un token, qui a ensuite été masqué, encodé, puis passé à travers un prédicteur pour prédire l’intégration des zones manquantes.
Une fois ce processus terminé, les chercheurs ont mis JETS à l’épreuve contre d’autres modèles de référence, en utilisant des mesures standards telles que l’AUROC et l’AUPRC, pour évaluer l’efficacité de l’IA à faire la distinction entre cas positifs et négatifs.
JETS a obtenu un AUROC de 86,8 % pour l’hypertension, 70,5 % pour la fibrillation auriculaire, 81 % pour le syndrome de fatigue chronique et 86,8 % pour le syndrome du sinusal malade, entre autres. Bien qu’il n’ait pas toujours triomphé, les avantages sont clairs.
Il est important de souligner que l’AUROC et l’AUPRC ne sont pas strictement des indices de précision, mais des métriques illustrant comment un modèle classe ou priorise les cas probables, plutôt que de déterminer la fréquence de prédictions correctes.
Dans l’ensemble, cette étude présente une approche intéressante pour exploiter le potentiel des données pouvant être considérées comme incomplètes ou irrégulières, démontrant que des possibilités significatives existent pour des modèles novateurs et des techniques d’entraînement pour analyser les données que les dispositifs portables comme l’Apple Watch continuent de collecter.
