Apple a récemment publié une étude sur son modèle révolutionnaire, SHARP, capable de reconstruire une scène 3D photoréaliste à partir d’une seule image en moins d’une seconde. Ce modèle marque une avancée notable dans le domaine de la synthèse d’images en 3D.
Intitulé Sharp Monocular View Synthesis in Less Than a Second, l’article détaille comment Apple a formé son modèle pour réaliser une synthèse de vues 3D à partir d’une unique photographie tout en maintenant la cohérence des distances et des échelles par rapport au monde réel.
Les chercheurs d’Apple présentent leur création de la manière suivante :
Nous proposons SHARP, une approche de synthèse photoréaliste de vues à partir d’une seule image. Étant donné une photographie, SHARP régresse les paramètres d’une représentation 3D gaussienne de la scène décrite. Cela se fait en moins d’une seconde sur un GPU standard via un passage en avant d’un réseau de neurones. La représentation gaussienne en 3D produite par SHARP peut ensuite être rendue en temps réel, permettant d’obtenir des images photoréalistes à haute résolution pour des vues environnantes.
Le modèle prédit ainsi une représentation 3D de la scène qui peut être rendue depuis des points de vue adjacents. En utilisant des millions de petites structures appelées ”gaussiennes”, SHARP peut reconstituer une scène 3D qui apparaît juste depuis un certain angle.
Contrairement à d’autres méthodes qui nécessitent plusieurs images pour une même scène, le modèle SHARP prétend prédire une représentation complète de scène 3D à partir d’une seule photo, tout cela grâce à un passage rapide à travers son réseau de neurones. Pour cela, Apple a entraîné SHARP sur de grandes quantités de données synthétiques et réelles, ce qui lui permet de reconnaître des motifs communs de profondeur et de géométrie.
Toutefois, il y a un compromis : SHARP ne génère pas de nouvelles parties inédites de la scène, ce qui signifie que l’utilisateur doit rester proche de l’angle de prise de vue d’origine pour obtenir des résultats convaincants.
Apple a mis à disposition SHARP sur GitHub, et de nombreux utilisateurs partagent leurs résultats. Voici quelques retours observés sur X :
Le modèle d’Apple SHARP génère des représentations 3D gaussiennes photoréalistes à partir d’une seule image en quelques secondes. GitHub
Nouvelle publication d’Apple – Sharp Monocular View Synthesis in Less than a Second. Mescheder et al. @ Apple viennent de sortir un article impressionnant. Vous lui donnez une image et il génère une représentation 3D vraiment réussie…
Les résultats sont prometteurs, offrant une nouvelle dimension à la création 3D rapide et efficace. Si vous souhaitez essayer SHARP vous-même, n’hésitez pas à nous faire part de vos résultats dans les commentaires.
