In neuen Benchmarks übertrifft die GeForce RTX 40 GPU-Serie von NVIDIA sowohl Laptop-CPUs als auch dedizierte NPUs in Llama- und Mistral-AI-Benchmarks. Diese Leistungssteigerung wird durch die TensorRT-LLM-Beschleunigung von NVIDIA weiter optimiert. NVIDIAs TensorRT-LLM-Beschleunigung für Windows hat somit die Leistung auf Windows-PCs deutlich verbessert.
![](https://www.igorslab.de/wp-content/uploads/2024/04/Bild_2024-03-31_082421678-980x515.png)
Die RTX “AI PC”-Plattform von NVIDIA wurde um neue Funktionen erweitert und mit der GeForce RTX 4090 Flaggschiff-GPU erreicht sie neue Höhen. In einem kürzlich veröffentlichten AI-Decoded-Blog hat NVIDIA gezeigt, wie seine aktuelle GPU-Generation das gesamte NPU-Ökosystem übertrifft, welches im Jahr 2024 nur 50 TFLOPS erreicht. Im Gegensatz dazu bieten NVIDIAs RTX AI-GPUs mehrere 100 TOPS und erreichen mit der GeForce RTX 4090 bis zu 1321 TOPS, was sie zur schnellsten Desktop-AI-Lösung für den Betrieb von LLMs und anderen Anwendungen macht. Gleichzeitig ist sie die weltweit schnellste Gaming-Grafikkarte.
NVIDIAs GeForce RTX GPUs verfügen über bis zu 24 GB VRAM, während NVIDIA RTX GPUs bis zu 48 GB VRAM bieten. Dies macht sie zu idealen Lösungen für die Arbeit mit LLMs (Large Language Models), da diese Workloads große Mengen an Videospeicher erfordern. Die RTX-Hardware von NVIDIA verfügt nicht nur über dedizierten Videospeicher, sondern auch über AI-spezifische Beschleunigung durch Tensor Cores (Hardware) und die bereits erwähnte TensorRT-LLM (Software).
Die Anzahl der generierten Tokens auf den GeForce RTX 4090 GPUs von NVIDIA ist über alle Batch-Größen hinweg hoch, wird aber durch die Aktivierung der TensorRT-LLM-Beschleunigung um mehr als das Vierfache gesteigert. NVIDIA hat neue Benchmarks veröffentlicht, die unter Verwendung der Open-Source-Plattform Jan.ai durchgeführt wurden, die kürzlich TensorRT-LLM in ihre lokale Chatbot-App integriert hat. Diese Benchmarks vergleichen die Leistung der GeForce RTX 40 GPUs von NVIDIA mit Laptop-CPUs mit dedizierten AI-NPUs.
![](https://www.igorslab.de/wp-content/uploads/2024/06/NV-chart-980x470.png)
Die NVIDIA GeForce RTX 4090 GPU bietet eine 8,7-fache Verbesserung gegenüber der AMD Ryzen 9 8945HS CPU ohne TensorRT-LLM. Mit aktivierter Beschleunigung steigt dieser Vorsprung auf das 15-fache (eine 70%ige Steigerung gegenüber der Nicht-TensorRT-LLM-Konfiguration). In diesem Szenario kann die RTX 4090 bis zu 170,63 Tokens pro Sekunde verarbeiten, während die AMD-CPU nur 11,57 Tokens/Sekunde erreicht. Selbst die NVIDIA GeForce RTX 4070 Laptop-GPU bietet eine bis zu 4,45-fache Beschleunigung.
NVIDIA hat auch Benchmarks mit einer RTX 4090 in einer eGPU-Konfiguration veröffentlicht, um zu zeigen, wie die Leistung von Laptops für AI-Workloads durch eine externe GPU weiter gesteigert werden kann. Diese Konfiguration bietet eine 9,07-fache Leistungssteigerung gegenüber derselben AMD-Laptop-CPU. NVIDIA hat erneut seinen Vorsprung im KI-Segment unter Beweis gestellt. Die GeForce RTX 40 GPUs bieten eine unübertroffene Leistung für AI-Anwendungen und sind die beste Wahl für alle, die die nächste Generation der KI-Innovationen vorantreiben möchten.
Quelle: NVIDIA
6 Antworten
Kommentar
Lade neue Kommentare
Veteran
Veteran
Urgestein
Veteran
Mitglied
Urgestein
Alle Kommentare lesen unter igor´sLAB Community →