GET3D: Ein leistungsfähiges 3D-Modell
GET3D ist ein bahnbrechendes Generativmodell, das hochwertige 3D-Texturformen lernt und erzeugt. Durch die Nutzung von zwei latenten Codes generiert es ein 3D-SDF und ein Texturfeld. Mit DMTet wird aus dem SDF eine 3D-Oberflächenmesh extrahiert und die Texturfeldwerte an den Oberflächenpunkten abgefragt, um Farben zu erhalten. Das Modell wird mit adversarialen Verlusten trainiert, die auf 2D-Bildern definiert sind. Insbesondere wird ein rasterbasierter differentiabler Renderer verwendet, um RGB-Bilder und Silhouetten zu erhalten. Zwei 2D-Diskriminatoren, jeweils für RGB-Bilder und Silhouetten, klassifizieren, ob die Eingaben echt oder gefälscht sind. Das gesamte Modell ist end-to-end trainierbar.
Das GET3D-Modell hat zahlreiche Vorteile. Es kann vielfältige Formen mit beliebiger Topologie, hochwertiger Geometrie und Textur erzeugen. Im Vergleich zu vorherigen Methoden erzielt es signifikante Verbesserungen. Es zeigt eine gute Entkopplung zwischen Geometrie und Textur und ermöglicht eine sinnvolle Interpolation. Zudem kann es neue Formen generieren, unüberwachte Materialien erzeugen und textgesteuerte Formen erzeugen.
GET3D baut auf mehreren vorherigen Arbeiten auf und erweitert die Möglichkeiten der 3D-Generierung.
