Die schnellsten KI-Beschleuniger durften seit einiger Zeit nicht nach China verkauft werden. Deshalb wird oftmals bestehende Hardware modifiziert.

Auf der Plattform X (via Wccftech) hat ein Nutzer von einer Vielzahl an Nvidia-A100-Prototypen berichtet, die auf chinesischen Onlinemarktplätzen für gebrauchte Hardware verfügbar sind. Woher genau die modifizierten Modelle stammen, ist nicht ganz klar. Auf den Karten ist deutlich mehr von der physisch vorhandenen Hardware nutzbar als auf regulären A100-PCIe-Karten. Eine simple Bios-Modifikation scheidet dafür aus.

Die Karten werden als Nvidia A100 7936SP bezeichnet, wobei die Zahl für die Anzahl der aktiven Streamprozessoren (Shading Units) steht. Eine reguläre A100 GPU für PCI-Express-Boards hat nur 6.912 aktive SPs und rechnet dadurch theoretisch knapp 15 Prozent langsamer. Außerdem nutzen die modifizierten A100-GPUs alle sechs HBM-Stacks, normalerweise sind es nur fünf.

Dadurch wird das Speicherinterface von ursprünglich 5.120 Bit auf 6.144 Bit vergrößert und die Übertragungsrate steigt von 1,94 TByte/s auf 2,16 TByte/s und statt 80 GByte sind die vollen 96 GByte nutzbar. Theoretisch müsste die Datenrate sogar noch höher sein, offenbar läuft der Speicher auf der A100 7936SP allerdings nur mit 2,8 GBit/s statt 3 GBit/s. Für große KI-Modelle ist sowohl die höhere Durchsatzrate als auch der größere Speicher vorteilhaft.