MLPerf 1.1 Benchmark Leistungstest: KI-Inferenz auf ARM-CPUs

Autor / Redakteur: Michael Matzer / Nico Litzel

Im neuen MLPerf 1.1 Benchmark konnte KI-Spezialist Nvidia bei den Inferenztests überzeugen – nicht nur auf x86-Hardware, sondern auch auf ARM-basierten Edge-Servern, mit denen der Hersteller sein Portfolio erweitert. Jüngste Nvidia-Software ermöglicht demnach Leistungszuwächse um bis zu 20 Prozent.

Firmen zum Thema

Nvidia hat mit „Triton“ einen Software-Stapel entwickelt, der auf Kubernetes praktisch auf jeder Hardware ausgeführt werden kann. Damit lassen sich zahlreiche Frameworks und Netzwerke ausführen.
Nvidia hat mit „Triton“ einen Software-Stapel entwickelt, der auf Kubernetes praktisch auf jeder Hardware ausgeführt werden kann. Damit lassen sich zahlreiche Frameworks und Netzwerke ausführen.
(Bild: Nvidia)

Der neue MLPerf 1.1 Benchmark, der seit 2018 von MLCommons betreut wird, erlaubt Inferenz-Tests in den verbreitetsten KI-Workloads, darunter Computeroptik, medizinische Bildgebung, Sprachverarbeitung, Empfehlungssysteme, Reinforcement Learning und mehr. Inferenz ist die Anwendung von Machine-Learning- und Deep-Learning-Modellen auf Datenmengen, um die Modelle und Ergebnisse zu verbessern. Zu den Anwendungsgebieten gehören Betrugserkennung, Bildsegmentierung und Grammatikprüfung.

Nvidia hat eine Reihe dieser Benchmarks auf seiner A100-GPU ausgeführt. Erstmals seien dabei nicht nur x86-basierte CPUs, sondern auch ARM-basierte Server eingesetzt worden. Hinsichtlich Leistung und Energieeffizienz sei die Nvidia A100 als Sieger hervorgegangen (siehe die Abbildungen).

Bildergalerie
Bildergalerie mit 10 Bildern

GPUs auf ARM

Dass ARM-CPU-basierte Server eine reelle Option sowohl für das Rechenzentrum als auch für die Edge sind, belegen die Ergebnisse des Benchmark-Tests. Darin hat die von Nvidia genutzte Ampere Altra CPU von Ampere Computing sogar eine x86-basierte Server-CPU geschlagen.

Dave Salvator, Senior Product Manager, AI Inference and Cloud, bei Nvidia, sagte bei der Präsentation der Benchmark-Ergebnisse: „ARM-basierte Server, die mit einer GPU ausgestattet sind, liefern bei KI-Inferenz-Aufgaben die gleiche Performance wie ähnlich konfigurierte x86-basierte Server.“ Er hebt auch die Energieeffizienz und das wachsende Software-Ökosystem der ARM-Plattform hervor. „In einer der Testdisziplinen war unsere ARM-CPU/GPU sogar einem x86-basierten System überlegen.“

Die Rolle der Software

Sieben OEMs, wie etwa Dell EMC, ließen 22 GPU-beschleunigte Plattformen im MLPerf 1.1 an den Start gehen, berichtet Salvator. Die meisten seien Nvidia-zertifiziert und viele unterstützten die im August vorgestellte Software-Plattform Nvidia AI Enterprise. Diese Software-Plattform sei für eine Leistungssteigerung um 20 Prozent und eine Steigerung der Energieeffizienz um 15 Prozent gegenüber den vor vier Monaten erzielten Benchmark-Ergebnissen verantwortlich.

Zu den Software-Tools gehören das Nvidia TAO Toolkit, die Software Nvidia TensorRT sowie die auf Kubernetes aufsetzende Server-Software Nvidia Triton. Mit deren Hilfe sei es möglich, auf den acht Partitionen einer A100 GPU sieben MLPerf-Tests auf virtuellen GPU-Instanzen (Multi-Instance GPU, MIG) auszuführen. So kann der Nutzer jeden Test ausführen, den er haben will, ohne dabei ein Profi-Programmierer sein zu müssen.

Erstveröffentlichgung auf Big Data Insider.

(ID:47697381)

Über den Autor