GET3D : Un Modèle Génératif de Formes 3D Texturées de Haute Qualité
GET3D est un modèle innovant qui génère des formes 3D texturées de haute qualité. Il s'appuie sur deux codes latents pour créer un SDF 3D et un champ de texture. Grâce à DMTet, il extrait un maillage de surface 3D à partir du SDF et obtient les couleurs en interrogeant le champ de texture aux points de la surface. Le modèle est entraîné avec des pertes adversariales définies sur des images 2D, en utilisant un rendu différentiable basé sur la rasterisation pour obtenir des images RGB et des silhouettes. Il emploie deux discriminateurs 2D, chacun sur les images RGB et les silhouettes respectivement, pour classifier si les entrées sont réelles ou fausses. Le modèle entier est entraîné de manière end-to-end et est capable de générer des formes diverses avec une topologie arbitraire, une géométrie de haute qualité et une texture riche.
Le modèle GET3D comble les lacunes des travaux précédents en matière de modélisation générative 3D. Il est capable de générer des maillages 3D texturés de haute qualité, allant des voitures, chaises, animaux, motos et personnages humains aux bâtiments, en obtenant des améliorations significatives par rapport aux méthodes précédentes. Il réalise également un bon découplage entre la géométrie et la texture, en montrant des formes générées à partir du même code latent de géométrie mais avec des codes latents de texture différents, et vice versa. De plus, il permet une interpolation significative des codes latents, générant une transition fluide entre différentes formes pour toutes les catégories. Il est également capable de générer des formes nouvelles en perturbant localement le code latent et de créer des matériaux et des effets d'éclairage dépendants de la vue de manière non supervisée. Enfin, il peut également générer des formes guidées par du texte, en suivant les travaux récents sur StyleGAN-NADA.
