Il y a quelques mois, Apple a organisé un événement de deux jours présentant les dernières avancées en matière de traitement du langage naturel (NLP). Aujourd’hui, l’entreprise a publié un article récapitulatif des faits marquants ainsi que des études présentées. Voici les détails.
L’atelier sur les systèmes interactifs de langage naturel et de leurs avancées, qui s’est tenu les 15 et 16 mai 2025, a mis l’accent sur trois grands domaines de recherche liés au NLP :
- Systèmes interactifs de langage parlé
- Formation et alignement des LLM
- Agents linguistiques
De nombreux chercheurs provenant d’universités, d’instituts et de laboratoires, tels que l’Allen Institute for AI, l’Imperial College de Londres, le MIT, l’Université Harvard, l’Université Stanford et l’Université de Princeton, ont présenté leurs travaux récents. Certains d’entre eux ont également des liens avec l’industrie, notamment Microsoft, Amazon, Sony, Google, Tencent, Cohere et, bien sûr, Apple.
1) Effondrement des modèles IA et détection des hallucinations des LLM
Deux études, présentées par Yarin Gal, professeur associé à l’Université d’Oxford et directeur de recherche de l’UK AI Security Institute, ont abordé ces thèmes. La première étude, intitulée « Effondrement des modèles IA », explore les limites de l’utilisation future du web comme source de données pour l’apprentissage des LLM, car l’usage croissant de ces modèles entraînera une augmentation du contenu généré par ces mêmes modèles en ligne.
Gal explique que bien que former des LLM sur des données synthétiques pose un risque d’effondrement, ce problème pourrait être résolu grâce au développement de nouveaux outils permettant de faire la distinction entre le contenu généré par IA et celui créé par des humains, ainsi qu’à une meilleure réglementation et à des études supplémentaires sur l’impact des LLM sur la société.
Sa seconde étude, « Détection des hallucinations des LLM », propose une nouvelle approche pour identifier le niveau de confiance d’un LLM lors de la génération de réponses. L’idée est de faire produire plusieurs réponses par le modèle, puis de les regrouper par signification sémantique. Cela permettrait d’obtenir une évaluation plus précise du degré de certitude et de précision des réponses.
2) Apprentissage par renforcement pour des agents LLM interactifs à long terme
Kevin Chen, chercheur en machine learning chez Apple, a présenté un agent formé selon une méthode nommée « optimisation de politique proximale à un élément » (LOOP). Cet agent a été entraîné à réaliser des tâches nécessitant plusieurs étapes, selon des consignes telles que :
‘Je suis parti en voyage avec des amis à Maui récemment. J’ai noté l’argent que je dois à d’autres et ce que d’autres me doivent. Effectue des paiements ou des demandes privées sur Venmo en conséquence. Ajoute une note : « Pour le voyage à Maui ».‘
Chen a démontré que la complexité de la tâche impliquant plusieurs dépendances de connaissances pouvait poser problème. Toutefois, avec LOOP, qui apprend de ses propres actions, le modèle a pu exécuter la demande avec moins d’erreurs.
3) Streaming spéculatif : inférence rapide des LLM sans modèles auxiliaires
Dans une présentation menée par Irina Belousova, responsable de l’ingénierie chez Apple, l’accent a été mis sur les avantages du décodage spéculatif. Cette méthode offre une approche plus économique en termes de calcul pour générer des réponses de qualité équivalente à celles produites par de grands modèles, en s’appuyant sur un petit modèle qui génère des séquences candidates, vérifiées ensuite par un modèle plus complexe.
Ce processus réduit l’utilisation de mémoire et accélère les performances tout en nécessitant moins de paramètres. Il simplifie également le déploiement en évitant la complexité liée à la gestion de plusieurs modèles.
Pour découvrir la liste complète des vidéos et des études présentées lors de cet événement, vous pouvez consulter le site officiel de l’atelier sur le traitement du langage naturel.
