AI/KI Professional Testberichte

NVIDIA vs. AMD und Workstation vs. Consumer: Wer hat die Nase bei den KI-Grafikkarten-Benchmarks vorn?

AI Computer Vision ist ein Bereich der künstlichen Intelligenz, der sich mit der Entwicklung von Algorithmen und Systemen beschäftigt, die in der Lage sind, visuelle Informationen aus der realen Welt zu verstehen und zu interpretieren. Dies umfasst die Erkennung, Klassifizierung, Segmentierung und Analyse von Bildern und Videos. Computer Vision kombiniert Techniken aus den Bereichen Bildverarbeitung, Mustererkennung und maschinelles Lernen, insbesondere Deep Learning. AI Computer Vision hat das Potenzial, viele Bereiche des täglichen Lebens zu revolutionieren, indem sie Maschinen ermöglicht, die visuelle Welt auf menschenähnliche Weise zu verstehen und zu interpretieren. Durch kontinuierliche Fortschritte in der Forschung und Entwicklung werden die Anwendungsgebiete und die Leistungsfähigkeit dieser Technologie weiter wachsen.

Hauptkomponenten und Techniken

  • Bildverarbeitung:

    • Vorverarbeitung: Hierzu gehören Techniken wie Rauschunterdrückung, Kantenverstärkung und Farbkorrektur, um die Bildqualität zu verbessern.
    • Merkmalsextraktion: Verfahren zur Identifizierung und Extraktion relevanter Informationen aus Bildern, z.B. durch Kanten, Ecken, Texturen oder SIFT (Scale-Invariant Feature Transform).
  • Objekterkennung und -klassifizierung:

    • Deep Learning Modelle: Verwendung von Convolutional Neural Networks (CNNs), wie z.B. ResNet, YOLO und Faster R-CNN, um Objekte in Bildern zu erkennen und zu klassifizieren.
    • Transfer Learning: Anpassung vortrainierter Modelle auf spezifische Aufgaben durch Feinabstimmung mit neuen Daten.
  • Bildsegmentierung:

    • Semantische Segmentierung: Jedes Pixel eines Bildes wird einer Klasse zugeordnet, z.B. durch Modelle wie U-Net oder DeepLab.
    • Instanzsegmentierung: Erkennung und Unterscheidung einzelner Instanzen von Objekten in einem Bild, z.B. durch Mask R-CNN.
  • Bildgenerierung und -vervollständigung:

    • Generative Adversarial Networks (GANs): Erzeugung realistischer Bilder aus Rauschen oder unvollständigen Bildern, wie z.B. durch Real-ESRGAN für die Superauflösung.
    • Bildvervollständigung: Ergänzung fehlender Teile in Bildern oder Videos.
  • Videoanalyse:

    • Objektverfolgung: Nachverfolgung von Objekten über mehrere Frames hinweg, z.B. durch Algorithmen wie Kalman-Filter oder Deep SORT.
    • Aktivitätserkennung: Erkennung und Klassifizierung von Aktivitäten oder Handlungen in Videos.

Anwendungen

  • Autonomes Fahren: Erkennung von Fahrspuren, Verkehrszeichen, Fußgängern und anderen Fahrzeugen, um sichere und effiziente Navigationsentscheidungen zu treffen.

  • Medizinische Bildgebung: Analyse von Röntgenbildern, MRTs und CT-Scans zur Diagnose und Behandlung von Krankheiten.

  • Überwachung und Sicherheit: Verwendung von Gesichtserkennung und Verhaltensanalyse zur Identifizierung von Personen und zur Erkennung verdächtiger Aktivitäten.

  • Industrielle Automatisierung: Qualitätskontrolle und Fehlererkennung in Produktionsprozessen durch visuelle Inspektion.

  • Einzelhandel: Verwendung von Personenzählung und Verhaltensanalyse zur Optimierung von Ladenlayouts und zur Verbesserung des Kundenerlebnisses.

Herausforderungen und Zukunftsaussichten

  • Datenschutz und Ethik: Sicherstellung des Schutzes personenbezogener Daten und Vermeidung von Missbrauch der Technologie.

  • Robustheit und Generalisierbarkeit: Entwicklung von Modellen, die robust gegenüber unterschiedlichen Lichtverhältnissen, Blickwinkeln und Störungen sind und auf vielfältige Szenarien generalisieren können.

  • Echtzeit-Verarbeitung: Verbesserung der Effizienz und Geschwindigkeit von Algorithmen, um Echtzeit-Anwendungen zu unterstützen.

  • Interdisziplinäre Integration: Kombination von Computer Vision mit anderen Bereichen wie Natural Language Processing (NLP) und Robotik zur Entwicklung komplexer, integrierter Systeme.

Benchmarks

Der Procyon AI Image Benchmark ist ein umfassendes Benchmarking-Tool, das entwickelt wurde, um die Leistung von AI-Modelle und Hardwareplattformen in der Bildverarbeitung zu bewerten. Es bietet eine standardisierte Methode zur Messung und Vergleich der Fähigkeiten verschiedener Deep Learning-Modelle und Hardwarekonfigurationen in einer Vielzahl von Bildverarbeitungsaufgaben. Der Benchmark umfasst eine breite Palette von Bildverarbeitungsaufgaben, einschließlich Objekterkennung, Bildklassifizierung, Bildsegmentierung und Superauflösung. Er bewertet Modelle auf verschiedenen öffentlichen und standardisierten Datensätzen, um eine umfassende Leistungsanalyse zu gewährleisten und er unterstützt eine Vielzahl von Deep Learning-Frameworks wie TensorFlow, PyTorch, und ONNX, sowie populäre Modelle wie ResNet, YOLO, und EfficientNet.

  • Leistungsmetriken:
    • Genauigkeit: Messung der Präzision und Genauigkeit der Modelle in verschiedenen Bildverarbeitungsaufgaben.
    • Durchsatz: Bewertung der Anzahl der verarbeiteten Bilder pro Sekunde (Bilder/s) bei verschiedenen Batch-Größen.
    • Latenzzeit: Bestimmung der durchschnittlichen Inferenzzeit (ms) pro Bild.
    • Effizienz: Analyse des Energieverbrauchs und der Effizienz der Hardwareplattformen während der Inferenz.

 

AI Image Generation Benchmark für Stable Diffusion 1.5 (FP16)

Der AI Image Generation Benchmark für Stable Diffusion 1.5 (FP16) bewertet die Leistungsfähigkeit von Systemen mit mittleren dedizierten GPUs in der Bildgenerierung. Dabei werden 16 Bilder mit einer Auflösung von 512×512 Pixeln in Batches von 4 erstellt. Das Modell verwendet das 16-bit Gleitkommaformat (FP16) für effizientere Berechnungen und geringeren Speicherbedarf.

 

AI Image Generation Benchmark für Stable Diffusion XL (FP16)

Der AI Image Generation Benchmark für Stable Diffusion XL (FP16) ist ein anspruchsvoller Inferenz-Benchmark für Systeme mit hochleistungsfähigen dedizierten GPUs. In diesem Test werden 16 Bilder mit einer Auflösung von 1024×1024 Pixeln in Batches von 1 erstellt. Das Modell nutzt das 16-bit Gleitkommaformat (FP16) für effiziente Berechnungen und reduzierten Speicherbedarf.

Kommentar

Lade neue Kommentare

echolot

Urgestein

1,118 Kommentare 875 Likes

Das war sehr umfangreich. Also mit einer 4070 Ti super ist man schon gut bedient und ich bereue es nach wie vor, dass ich Nvidia nicht schon 2015 ins Portfolio genommen habe. Dieses Unternehmen kennt gerade keine Grenzen.
Nachtrag:

View image at the forums

Antwort 2 Likes

l
letauch

Mitglied

12 Kommentare 9 Likes

Ahoi,

an der Börse gilt wie immer: hinterher ist man immer schlauer.

Grüße
letauch

Antwort 1 Like

e
eastcoast_pete

Urgestein

1,698 Kommentare 1,031 Likes

Ja, momentan ist Nvidia hier dominant, keine Frage. Da ja jetzt die viel beworbenen NPUs/AI ASICs auch ihren Einzug in Notebooks feiern (die Snapdragon X mit Windows-on-ARM sind ja gerade überall zu sehen), wär es auch spannend, diese SoCs mit (laut Microsoft) starken, dedizierten NPU Kernen durch einige der Test Parkours hier zu schicken, auch um die KI Leistung dieser SoCs einordnen zu können (gilt mE ebenso für Phoenix/Hawks). Und, zumindest theoretisch, sollten hier Anwendungen, die besonders auf schnelle Kommunikation zwischen CPU und GPU bzw NPU Kernen angewiesen sind, besonders profitieren.

Antwort 2 Likes

R
RazielNoir

Veteran

439 Kommentare 202 Likes

Die RTX 4000 ADA SFF mit TensorRT ist ziemlich das effizienteste Modell, wenn ich den Overallscore richtig sehe. Auf Niveau einer 4070ti bzw. 7900XT bei 70w!

Antwort Gefällt mir

8j0ern

Urgestein

2,756 Kommentare 854 Likes

Sehr interessant, wie soll das Unabhängig Funktionieren, wenn der Tensor Code nur von einem Hardware Hersteller Supportet wird ?

Anders herum gefragt, warum sollte ich als Unabhängiger Coder auf Tensor Cores gehen ?

Davon mal ab, Bilder Generieren in 1024p ?

Warten wir besser auf die NPUs ;)

Antwort Gefällt mir

Igor Wallossek

1

10,485 Kommentare 19,651 Likes

Warum wohl habe ich die NV-Karten wohl auch mit alternativem Code gemessen? Bei der Bildgenerierung gabs dann für NV alternativ Intels OpenVINO. Ich kenne keinen Benchmark, der mehr APIs unterstützt und vor allem in der Pro Version vom Tester auch gescriptet werden kann. Insofern ist Dein Einwurf etwas am Thema vorbei. Heute gings auch nur um Grafikkarten und keine NPUs. Das ist wieder ein anderes Thema und längst in Vorbereitung. Nur ist es so, dass nicht mal AMD irgendeinen vergleichbaren Absatz bietet.

Du arbeitest lokal, nicht auf einer Serverfarm. Und es sind viele, nicht nur eins. :D

Die werden gegen jede noch so kleine NV Karte mit Tensor Cores erst mal gehörig abstinken. Aber für einfache LM wirds schon reichen. Ich versuche gerade, passende Hardware zu beschaffen, aber fast alle mauern noch.

Antwort 1 Like

8j0ern

Urgestein

2,756 Kommentare 854 Likes

Ich meinte jetzt nicht deine Vergleich hier, daher habe ich auch die Homepage des Benchmarks verlinkt.

Falls es doch noch Nvidia unabhängige Coder gibt: https://www.amd.com/en/products/sof... including open frameworks, models, and tools.

Antwort Gefällt mir

echolot

Urgestein

1,118 Kommentare 875 Likes

Tensor Cores und Frame Generation. War da was? Solange AMD da nicht nachziehen kann, wird Nvidia immer davonziehen.

Antwort 1 Like

Igor Wallossek

1

10,485 Kommentare 19,651 Likes

ROCm... Naja, da muss schon noch mehr kommen. AMDs Software bietet eine Reihe von Optimierungen für KI-Workloads, aber das wars dann auch schon.

Aktuell sind Microsofts Windows ML, Qualcomms SNPE, Intels OpenVINO, Apples Core ML und halt NVIDIAs TensorRT das Maß der Dinge.

Antwort Gefällt mir

Y
Yumiko

Urgestein

546 Kommentare 247 Likes

Ist das so?
Beispielsweise für den Preis einer 4090 bekommt man 3x 7900xt welche zusammen deutlich schneller sind nach obigen Benchmarks (KI Anwendungen sind massiv parallel).
Beim Verbrauch (je nach Stromkosten) kann sich das natürlich irgendwann drehen.

Antwort Gefällt mir

Igor Wallossek

1

10,485 Kommentare 19,651 Likes

Je nach Anwendung. Wenn TensorRT genutzt werden kann, ist AMD mit RDNA3 fast komplett hilflos. Nicht alles lässt sich über veile Devices hin parallelisieren und dann braucht man immer noch ein performantes API. Da sehe ich meist ein Software-Problem bei AMD, zumindest im Desktop-Bereich.

Antwort 3 Likes

echolot

Urgestein

1,118 Kommentare 875 Likes

Und ein performantes Netzteil für 3x 7900XT

Antwort 1 Like

R
RazielNoir

Veteran

439 Kommentare 202 Likes

Oder die Passende Plattform

Antwort Gefällt mir

8j0ern

Urgestein

2,756 Kommentare 854 Likes
ipat66

Urgestein

1,422 Kommentare 1,436 Likes

Stand heute bekommt man eine 4090 für 1730 Euro.
Eine 7900XTX bekommt man für ab 950 Euro...
Das sind also eher knapp zwei 7900 XTX für den Preis einer 4090.
Edit: Bei den 7900 XT für 700 Euro wären wir bei 2100 Euro, bei 3 Stück

Zudem braucht es im KI-Produktivbereich nur eine 4070 TI Super, um die gleiche bzw. teils viel bessere Leistung im Vergleich zu einer 7900 XTX zu erreichen.
Eine 4070 TI Super bekommt man ab 850 Euro....
Also: 100 Euro gespart mit im Vergleich weniger Energieverbrauch .

Das erkenne ich zumindest aus Igor's Diagrammen... :)

Antwort 2 Likes

8j0ern

Urgestein

2,756 Kommentare 854 Likes

Auf den Benchmark bezogen stimmt das auch.
Die Frage ist, welche Relevanz hat z.B. ein Mobile Benchmark auf einer 4070 TI ?

Kommt jetzt wieder: Liebling, ich habe die Kinder geschrumpft ?

Antwort Gefällt mir

echolot

Urgestein

1,118 Kommentare 875 Likes

Ist auch mein Denkansatz. Da muss AMD bei der nächsten Generation noch ein, zwei Schippen drauflegen.

Antwort Gefällt mir

8j0ern

Urgestein

2,756 Kommentare 854 Likes

Dann will ich dich sehen, wie du ein, zwei Geldbeutel mehr drauflegst. ;)

Antwort Gefällt mir

echolot

Urgestein

1,118 Kommentare 875 Likes

Der Markt bestimmt den Preis. Siehe Nvidia. Soviele 4090 Besitzer gibbet nicht.

Antwort 1 Like

Danke für die Spende



Du fandest, der Beitrag war interessant und möchtest uns unterstützen? Klasse!

Hier erfährst Du, wie: Hier spenden.

Hier kannst Du per PayPal spenden.

About the author

Igor Wallossek

Chefredakteur und Namensgeber von igor'sLAB als inhaltlichem Nachfolger von Tom's Hardware Deutschland, deren Lizenz im Juni 2019 zurückgegeben wurde, um den qualitativen Ansprüchen der Webinhalte und Herausforderungen der neuen Medien wie z.B. YouTube mit einem eigenen Kanal besser gerecht werden zu können.

Computer-Nerd seit 1983, Audio-Freak seit 1979 und seit über 50 Jahren so ziemlich offen für alles, was einen Stecker oder einen Akku hat.

Folge Igor auf:
YouTube   Facebook    Instagram Twitter

Werbung

Werbung