Nvidia schrumpft sein derzeit leistungsfähigstes SoC auf die Größe einer Kreditkarte und bietet den AI-Computer im neuen Format als Jetson Xavier NX an. Das mit Xavier-SoC ausgestattete Modul kann zum Beispiel in Robotern, Drohnen, Fertigungslinien und anderen IoT-Systemen zum Einsatz kommen. Der Preis liegt bei 399 US-Dollar.

Jetson Xavier NX positioniert sich in Nvidias Sortiment kompakter AI-Rechner zwischen Jetson TX2 und Jetson AGX Xavier. Darüber hinaus gibt es am unteren Ende seit Frühjahr mit dem Jetson Nano ein Modell für Einsteiger. Dort kommt auf einer 45 × 70 mm großen Platine Nvidias Tegra X1 zum Einsatz. Dieselben Abmessungen hat nun auch Jetson Xavier NX, wobei hier das deutlich leistungsfähigere Xavier-SoC verbaut ist.

Jetson Xavier NX nutzt kleines Xavier-SoC

Bislang war Nvidias Xavier-SoC nur über den Jetson AGX Xavier zu bekommen, dessen Startpreis für die kleine Version bei 729 Euro liegt. Das System wird in zwei Varianten angeboten: Jetson AGX Xavier 8 GB und Jetson AGX Xavier. Unterschiede gibt es aber nicht nur beim RAM (8 GB versus 16 GB), sondern auch bei CPU, GPU und Nvidias Deep Learning Accelerator (NVDLA), wobei letztere die INT8-Leistung in TOPS und die FP16-Leistung in TFLOPS bestimmen. Beide SoCs werden bei TSMC in 12 nm gefertigt.

Bis zu 21 TOPS INT8-Leistung

Kurz vorab erklärt: Jetson AGX Xavier 8 GB nutzt das kleinere der beiden Xavier-SoCs mit einer Volta-GPU, die 384 CUDA-Cores und 48 Tensor-Cores bietet. Die kommt im Gegensatz zum großen Xavier-SoC mit 512 CUDA-Cores und 64 Tensor-Cores auf 11,1 TOPS (INT8) respektive 5,5 TFLOPS (FP16) statt 22 TOPS und 11 TFLOPS. Auch die NVDLA-Engines sind mit 8,2 TOPS (INT8) respektive 4,1 TFLOPS (FP16) nicht ganz so leistungsstark wie beim großen Xavier-SoC, wo sie auf 10 TOPS respektive 5 TFLOPS kommen. Die CPU setzt sich aus sechs statt acht der von Nvidia entwickelten Carmel-Cores zusammen, denen mit 6 MB (L2) und 4 MB (L3) etwas weniger Cache zur Verfügung steht. Weitere Unterschiede zwischen beiden Varianten listet Nvidia hier auf.

Im konkreten Fall des neuen Jetson Xavier NX hängt die INT8-Gesamtleistung berechnet aus TOPS von CUDA- und Tensor-Cores sowie NVDLA-Engines vom zulässigen Energiebedarf ab. Das Modul lässt sich mit 10 Watt bei 14 TOPS oder 15 Watt bei 21 TOPS betreiben. In puncto Effizienz skaliert das System zumindest auf diesen beiden Stufen linear nach oben. Die FP16-Leistung gibt Nvidia mit insgesamt 6 TFLOPS an. Das Jetson AGX Xavier 8GB kommt auf insgesamt 9,6 TFLOPS.

Pinkompatibel zum Jetson Nano

Entwickler, die zuvor auf dem Jetson Nano künstliche neuronale Netz und die Datenverarbeitung mehrerer Sensoren laufen ließen, können dank Pinkompatibilität mit geringem Aufwand zum leistungsfähigeren Jetson Xavier NX wechseln, da sich auch der Formfaktor nicht verändert hat. Da Jetson Xavier NX erst im März des kommenden Jahres auf den Markt kommen soll, können Entwickler das Jetson AGX Xavier Developer Kit nutzen, das per Software-Patch die Emulation eines Jetson Xavier NX erlaubt.

Benchmarks gegen Google, Habana, Intel und Qualcomm

Parallel zur Vorstellung des Jetson Xavier NX hat Nvidia aktuelle Benchmark-Ergebnisse mit MLPerf 0.5 für die Leistung im Rechenzentrum und fürs Edge-Computing veröffentlicht. Im Offline-Szenario, bei dem das Inferencing mit Daten vom Festspeicher stattfindet, landet Nvidia mit der Titan RTX (Test) bei Außerachtlassung des Energiebedarfs vor Intels Xeon Platinum 9282, dem Goya-Prozessor von Habana und Googles Cloud TPU v3. Das gleiche gilt für das Server-Szenario mit Daten aus dem Internet. Als Hintergrund: Die Titan RTX kommt auf 280 Watt, der Xeon Platinum 9282 auf 400 Watt, der Goya auf 200 Watt und Googles TPU v3 auf etwa 200 bis 225 Watt.

Beim Edge-Computing vergleicht Nvidia das Xavier-SoC mit Qualcomms Snapdragon 855 und Intels Core i3-1005G1, wobei auch hier bei Außerachtlassung des Energiebedarfs der erste Platz eingenommen wird. Nvidias Chip kommt auf 30 Watt, der Snapdragon 855 auf geschätzt um die 5 Watt und der Core i3-1005G1 auf 15 Watt.

Nvidias Jetson Xavier NX bietet bei gängigen neuronalen Netzen die 15-fache Leistung eines Jetson TX2 bei geringerem Energiebedarf und kompakteren Abmessungen.