Des chercheurs d’Apple ont développé un modèle d’IA qui améliore considérablement les photos prises dans des conditions de faible luminosité en intégrant un modèle d’image basé sur la diffusion directement dans le pipeline de traitement d’image de l’appareil photo. Cela permet de récupérer des détails à partir des données brutes du capteur qui seraient normalement perdus.
Le défi des photos en très faible lumière
Vous avez probablement déjà pris une photo dans des conditions très sombres, vous retrouvant avec une image remplie de bruit numérique. Cela se produit lorsque le capteur d’image ne capte pas suffisamment de lumière. Pour compenser cela, des entreprises comme Apple utilisent des algorithmes de traitement d’image souvent critiqués pour leurs effets trop lisses, qui masquent les détails fins.
Présentation de DarkDiff
Pour remédier à ce problème, les chercheurs d’Apple et de l’Université de Purdue ont créé un modèle nommé DarkDiff. Dans leur étude, ils soulignent que la photographie de qualité en condition de faible luminosité est difficile mais essentielle. Les algorithmes traditionnels sont progressivement remplacés par des réseaux profonds plus efficaces qui améliorent intelligemment les images bruyantes. DarkDiff propose un cadre novateur pour améliorer les images brutes en basse lumière, en réaffectant des modèles de diffusion pré-entraînés.
Au lieu d’appliquer l’IA lors de la post-production, ils ont réutilisé Stable Diffusion, un modèle open-source, pour comprendre les détails attendus dans les zones sombres des photos, en tenant compte de leur contexte global, et l’ont intégré dans le traitement d’image.
Processus de DarkDiff
Le modèle calcule l’attention sur des zones d’image localisées, préservant les structures locales et réduisant les hallucinations dans l’image. Le traitement d’image gère toujours les premières étapes nécessaires pour interpréter les données brutes, comme le balance des blancs et la démosaïquage. DarkDiff opère ensuite sur cette image RGB linéaire en la débruitant avant de produire l’image finale sRGB.
Les résultats de DarkDiff
Pour tester DarkDiff, les chercheurs ont utilisé de vraies photos prises dans des conditions de très faible luminosité avec des caméras comme la Sony A7SII, en comparant les résultats avec d’autres modèles d’amélioration brute. Les images testées ont été capturées la nuit avec des temps d’exposition aussi courts que 0,033 seconde. Les versions améliorées par DarkDiff ont été comparées à des photos de référence prises avec des expositions 300 fois plus longues.
Limites de DarkDiff
Il est important de noter que le traitement basé sur l’IA est plus lent que les méthodes traditionnelles et nécessiterait probablement un traitement dans le cloud en raison de ses besoins computationnels élevés, risquant de drainer rapidement la batterie si exécuté localement sur un téléphone. Les chercheurs soulignent également des limites dans la reconnaissance de texte non anglais dans des scènes à faible lumière.
Aucune indication n’a été donnée quant à une future intégration de DarkDiff dans les iPhones, mais cette recherche démontre l’engagement d’Apple envers l’avancement de la photographie computationnelle, un domaine en pleine expansion sur le marché des smartphones, alors que les consommateurs exigent des capacités photographiques de haute qualité.
