Une équipe de chercheurs d’Apple a développé un nouveau cadre qui permet de rendre des scènes 3D en haute résolution avec une efficacité nettement accrue. Les détails de cette étude viennent d’être publiés.
Contexte
Dans une étude intitulée Less Gaussians, Texture More: 4K Feed-Forward Textured Splatting, un groupe de chercheurs d’Apple et de l’Université de Hong Kong propose un nouveau framework, sobrement appelé LGTM.
Les chercheurs expliquent que l’augmentation de la résolution entraîne une complexité croissante dans les méthodes de feed-forward 3D Gaussian Splatting, rendant leur utilisation à haute résolution impraticable. Cette méthode permet à un modèle d’IA de transformer rapidement une ou quelques images en une scène 3D visionnable sous différents angles.
Récemment, nous avons couvert le modèle SPLAT développé par Apple, qui utilise le feed-forward 3D Gaussian Splatting pour créer des vues 3D à partir d’une seule image 2D, avec des résultats impressionnants.
Présentation du LGTM
Pour remédier à ce problème, les chercheurs proposent le cadre LGTM, qui « découple la complexité géométrique de la résolution du rendu ». En d’autres termes, il sépare la structure d’une scène des détails visuels, permettant au système de garder une géométrie simple tout en ajoutant des textures pour enrichir les détails haute résolution.
Le LGTM ne s’agit pas d’un modèle autonome, mais d’un complément aux méthodes existantes. Il améliore la représentation des détails en superposant des prédictions de texture à la géométrie.
Les chercheurs ont suivi une approche en deux étapes :
- Ils ont appris la structure de la scène à partir d’images basse résolution, tout en vérifiant les résultats contre des images de référence haute résolution, forçant le modèle à produire une géométrie correcte même à 2K ou 4K.
- Une seconde réseau a été introduit, focalisé sur l’apparence, qui utilise des images haute résolution pour apprendre les textures détaillées de chaque élément géométrique.
Le résultat est un cadre qui permet aux systèmes existants de générer des scènes 4K détaillées, tout en évitant l’explosion quadratique des besoins en calcul qui rendait les méthodes précédentes impraticables.
Implications pour les produits comme l’Apple Vision Pro
Actuellement, l’Apple Vision Pro est équipé de deux écrans affichant environ 23 millions de pixels au total, soit davantage que la résolution d’une télévision 4K par œil. Comme le montre l’étude, le feed-forward 3D Gaussian Splatting a du mal à fonctionner à ces résolutions. Bien que les écrans puissent le supporter, la génération rapide et précise des scènes devient un goulet d’étranglement computationnel.
Le LGTM pourrait aider à surmonter cette limitation sur l’Apple Vision Pro, offrant ainsi des performances plus fluides et des visuels plus nets dans des situations nécessitant le feed-forward 3D Gaussian Splatting.
En pratique, cela pourrait se traduire par davantage d’opportunités de vivre des environnements immersifs détaillés ou des expériences de passage plus réalistes, tout en contrôlant la demande de calcul.
Pour voir le LGTM en action, vous pouvez consulter la page du projet, qui présente des méthodes comme NoPoSplat, DepthSplat et Flash3D, avec et sans LGTM.
