Die nächste Generation der Materialdarstellung in Grafiken: NVIDIAs KI macht’s möglich

NVIDIA hat auf der Siggraph einen neuen Ansatz namens “Neural Appearance Models” vorgestellt, der Künstliche Intelligenz (KI) nutzt, um das Echtzeit-Rendering von Materialien erheblich zu beschleunigen. Dieser innovative Ansatz ermöglicht eine bis zu 24-fache Leistungssteigerung im Vergleich zu herkömmlichen Methoden.

Anstatt auf rechenintensive Shading-Grafiken zu setzen, verwendet NVIDIA neuronale Netzwerke, um jedes Detail eines Objekts zu erfassen – von feinen Details bis hin zu komplexen Lichteffekten. Dieser Ansatz ermöglicht nicht nur eine schnellere Berechnung, sondern auch eine detailliertere Darstellung, was besonders bei komplexen visuellen Szenen von Vorteil ist.

Innovationen und Vorteile

Die neuen Modelle bieten mehrere bedeutende Innovationen:

• Ein skalierbares System für Filmqualität in neuronalen Materialien.
• Praktisches Training für große Assets durch einen effizienten Encoder.
• Decoder mit Priors für Normal Mapping und Sampling.
• Effiziente Ausführung von neuronalen Netzwerken in Echtzeit-Shadern.

Die Funktionsweise der Neural Appearance Models ähnelt der von traditionellen Modellen. Zur Renderzeit werden Texturen überprüft und zwei MLPs (Multi-Layer Perceptrons) ausgewertet, um den BRDF-Wert (Bidirectional Reflectance Distribution Function) und die Ausgangsrichtung zu bestimmen. Verbesserungen wie eingebaute Grafik-Priors und ein Encoder für massive Auflösungen optimieren den Prozess weiter und ermöglichen eine schnellere und genauere Darstellung.

Dank der Effizienz der neuronalen Modelle können diese Texturen auf verschiedene Anwendungen skaliert werden. NVIDIA demonstrierte Modelle mit unterschiedlicher Komplexität, die in wenigen Millisekunden gerendert wurden. Diese schnelle Renderzeit eröffnet neue Möglichkeiten für Echtzeit-Anwendungen und verbessert die Gesamtleistung erheblich.

Die Neural Appearance Models nutzen bestehende maschinelle Lern-Frameworks wie PyTorch und TensorFlow sowie Werkzeuge wie GLSL und HLSL. Zusätzlich werden hardwarebeschleunigte Matrix-Multiplikations-Engines (MMA) verwendet. Der Laufzeit-Shader kompiliert die neuronale Materialbeschreibung in optimierten Code mithilfe der Open-Source-Slang-Shading-Sprache, die für eine Vielzahl von Zielen wie Vulkan, Direct3D 12 und CUDA Backends bietet.

Die Leistungsfähigkeit dieses neuen Ansatzes wurde auf einer NVIDIA GeForce RTX 4090 GPU mit hardwarebeschleunigtem Ray Tracing bei einer Auflösung von 1920×1080 demonstriert. Die Renderzeiten wurden erheblich reduziert, während die Detailgenauigkeit beibehalten wurde. Diese Effizienz ermöglicht eine schnellere und realistischere Darstellung von Texturen und Materialien in Echtzeit.

Der neue Ansatz von NVIDIA hat das Potenzial, die Art und Weise, wie Texturen und Objekte in Echtzeit gerendert werden, grundlegend zu verändern. Entwickler und Content-Ersteller können realistischere Materialien schneller erstellen und gleichzeitig die Leistung ihrer Anwendungen verbessern. Diese Technologie wird voraussichtlich in zukünftigen Spielen und Anwendungen eingesetzt, um ein noch immersiveres und detailreicheres Erlebnis zu bieten.

Insgesamt stellt der neue Ansatz der Neural Appearance Models von NVIDIA einen bedeutenden Fortschritt in der Echtzeit-Rendering-Technologie dar. Durch die Nutzung von KI und neuronalen Netzwerken wird eine effizientere und genauere Darstellung möglich, die sowohl die Leistung als auch die visuelle Qualität erheblich verbessert.

Quelle: YouTube