Ce week-end, Mark Gurman et Drake Bennett de Bloomberg ont publié une analyse approfondie sur les déboires d’Apple Intelligence. Cet article détaille des problèmes de longue date, ainsi qu’une profonde mécompréhension du potentiel de l’IA au plus haut niveau de l’entreprise. Plus important encore, il aborde les initiatives mises en place par Apple pour rattraper son retard, dont un recours accru aux données synthétiques.
Comme le précise Bloomberg, cette dépendance croissante des chercheurs d’Apple à l’égard des jeux de données qu’ilslicencient auprès de tiers et des données synthétiques — des informations générées spécifiquement pour former des modèles d’IA — a été mise en avant.
Cette méthode pourrait sembler étrange, mais elle n’est pas exclusive à Apple. D’autres géants, tels qu’OpenAI, Microsoft et Meta, ont également utilisé avec succès cette technique pour entraîner leurs modèles.
Concrètement, les données synthétiques permettent aux ingénieurs de créer d’énormes ensembles de données parfaitement labellisées, sans enfreindre la vie privée. Cela leur permet de traiter des scénarios rares et d’itérer plus rapidement que s’ils attendaient des exemples du monde réel.
OpenAI a d’ailleurs souligné l’utilisation de données synthétiques pour réduire les hallucinations lors de l’entraînement de GPT-4. Leur méthode multi-étapes comprend la génération de réponses et l’évaluation de leur exactitude, permettant de créer des comparaisons pertinentes entre réponses originales et corrigées.
Pour sa part, Microsoft a formé son petit modèle de langage Phi-4 en décembre 2024 en utilisant 55 % de données synthétiques. Malgré son nombre de paramètres inférieur à d’autres modèles, il a surpassé des modèles plus volumineux sur des tâches de mathématiques et de raisonnement.
Mais qu’est-ce que la « donnée synthétique » ? Il s’agit d’informations générées par un algorithme, souvent par un autre modèle d’IA, au lieu d’être collectées à partir de données réelles. Cela permet de garantir une précision d’étiquetage parfaite et d’éviter d’inclure des informations personnellement identifiables.
Apple donne un exemple concret d’utilisation de données synthétiques sur son blog de recherche. En gros, l’entreprise génère des milliers d’emails d’exemple sur ses appareils et les compare à de vrais messages localement, envoyant uniquement un signal anonymisé sur les échantillons synthétiques les plus pertinents.
La raison pour laquelle tant de géants de l’IA se tournent vers les données synthétiques est simple : ils ont épuisé les données disponibles dans le monde et ont besoin de plus pour améliorer leur training. Apple, qui a été en veille pendant que le marché enfreignait les droits d’auteur, a finalement décidé de rejoindre cette tendance.
Bien sûr, certaines inquiétudes demeurent. On pourrait craindre que l’utilisation de données synthétiques finisse par corroder la fiabilité des modèles. Cependant, des études suggèrent que l’utilisation partielle de données soigneusement sélectionnées pourrait même améliorer les performances des modèles comparativement à une dépendance exclusive à des données brutes.
Cette approche pourrait également se traduire par un revirement pour Siri, accélérant son évolution tout en optimisant l’utilisation des ressources nécessaires pour son développement.
