MGX : Nvidia standardise le multi

May 07, 2023

Mise à jour avec plus de spécifications MGX :Chaque fois qu'un fabricant de moteurs de calcul fabrique également des cartes mères ainsi que des conceptions de systèmes, les entreprises qui fabriquent des cartes mères (il y en a des dizaines) et créent des conceptions de systèmes (les fabricants de conception d'origine et l'original - deviennent un peu nerveuses et un peu soulagées. La standardisation des composants signifie qu'ils ont moins à faire, mais en même temps, ils ont moins à facturer.

Avec ses conceptions de plates-formes de serveurs multigénérationnelles MGX, annoncées cette semaine au salon Computex à Taiwan, qui est l'un des principaux centres mondiaux de fabrication de composants et de systèmes ainsi que le centre incontesté de la fabrication et de l'assemblage de moteurs de calcul, Nvidia espère se faciliter la vie ainsi qu'aux OEM et ODM du monde et fournir de meilleurs profits pour lui-même et pour eux.

Nvidia fabrique ses propres serveurs depuis le lancement du système DGX-1 en avril 2016 basé sur l'accélérateur GPU "Pascal" P100. Nvidia a décidé de le faire pour accélérer la mise sur le marché et créer une boucle de rétroaction dans la conception des composants et de la carte mère ; le fait que Nvidia devait construire ses propres supercalculateurs pour exécuter ses charges de travail massives d'IA – ce qui était moins cher que de le faire faire par un OEM ou un ODM – a également contribué à la décision. À l'époque, la plupart des GPU Pascal que Nvidia aurait pu fabriquer étaient expédiés aux hyperscalers et aux constructeurs de cloud ainsi qu'à quelques centres HPC, et les DGX-1 étaient vendus par Nvidia de manière préférentielle afin que les chercheurs et les scientifiques puissent mettre la main sur ces systèmes accélérés par GPU. C'était encore le cas en mai 2017 lorsque les machines DGX-1 ont été mises à jour avec les accélérateurs GPU "Volta" V100 annoncés deux mois plus tôt. Le système DGX-A100 a suivi en mai 2020, utilisant les GPU "Ampere" A100, et bien sûr la conception DGX-H100, qui évolue beaucoup plus loin avec une structure de commutateur NVLink, déployée en même temps que l'accélérateur GPU "Hopper" H100 l'année dernière et vient d'être mis à jour cette semaine avec une conception hybride CPU-GPU dans le système DGX-GH200.

Vous ne pouvez pas acheter un ASIC H100 SXM5 ou NVSwitch 3 utilisé dans les dernières machines DGX-H100 et DGX-GH200. Les cartes système pour les processeurs, les GPU et les interconnexions NVSwitch sont vendues aux hyperscalers et aux constructeurs de cloud et à leurs fournisseurs ODM en tant qu'unité, avec tous les composants fabriqués et testés, et sont également vendues aux OEM sous forme de composants préassemblés, qu'ils mettent à leur tour dans leurs systèmes. Vous pouvez acheter des versions PCI-Express des accélérateurs GPU ou des ASIC Quantum InfiniBand ou Spectrum Ethernet de Nvidia si vous souhaitez créer vos propres systèmes, mais pour les éléments haut de gamme fonctionnant sur une structure de mémoire NVSwitch, vous devez prendre ces composants préassemblés, appelés HGX.

Après avoir standardisé dans une certaine mesure les composants internes des systèmes avec HGX/DGX, Nvidia souhaite désormais standardiser les coques qui entourent ces composants afin d'accélérer le délai de mise sur le marché de tous les ODM et OEM et de faire en sorte que les systèmes résultants puissent être mis à niveau sur le terrain dans la mesure du possible, compte tenu des futurs changements architecturaux à venir.

Voilà, en un mot, ce qu'est l'effort MGX.

Nous avons eu un petit aperçu de ce à quoi ressemblaient les conceptions initiales du MGX en mai dernier lorsque les conceptions des systèmes prototypes HGX Grace et HGX Grace-Hopper ont été divulguées par Nvidia. Il ne s'agissait pas seulement de cartes système, mais de conceptions complètes de serveurs montés en rack :

L'effort de normalisation MGX couvrira les plates-formes de calcul du centre de données DGX/HGX, les plates-formes d'hébergement de métaverse OVX et les plates-formes graphiques et de jeu cloud CGX, et voici comment Nvidia a déclaré que le processeur Grace et divers accélérateurs GPU seraient composés pour ces trois lignes de fer :

Voici les conceptions MGX qu'il a présentées au Computex cette semaine :

Celui de gauche est une superpuce Grace-Grace associée à quatre accélérateurs GPU. Le système au centre a deux processeurs X86, deux interfaces réseau ConnectX et huit accélérateurs GPU, et le système de droite a une paire de moteurs de calcul refroidis à l'eau (nous supposons des superpuces Grace-Hopper) et deux cartes d'interface réseau.

Le site Web et les prébriefings de la société ne les ont pas expliqués aussi bien que le co-fondateur et PDG de Nvidia, Jensen Huang, l'a fait dans son discours d'ouverture, lorsqu'il a passé en revue certains des aspects du système MGX, à commencer par le châssis 2U :

Lorsque vous ajoutez deux processeurs X86, quatre accélérateurs GPU L40, un DPU BlueField-3, une paire de cartes d'interface réseau ConnectX-7 et que vous laissez ouverts six emplacements PCI-Express 5.0, vous obtenez un serveur OVX pour accélérer la pile logicielle du jumeau numérique de réalité virtuelle Omniverse de Nvidia :

Vous pouvez sortir la paire de processeurs X86 et mettre une superpuce Grace-Grace et tout le même truc (avec un slot PCI-Express 5.0 de moins) et vous obtenez cette variante du serveur OVX :

Si vous voulez faire des graphiques cloud pour le rendu ou les jeux ou des charges de travail d'inférence IA modestes, ce que Nvidia appelle une machine CGX, vous pouvez commencer avec le châssis MGX et mettre une superpuce Grace-Grace, dix accélérateurs GPU L4, un DPU BlueField-3 et avoir 11 emplacements PCI-Express 5.0 ouverts et cela ressemble à ceci :

Si vous avez besoin de piloter des charges de travail d'inférence d'IA plus denses, en particulier pour les LLM et les DLRM, vous prenez la version 4U du châssis MGX, vous insérez une paire de processeurs X86, huit des accélérateurs H100 NVL double largeur, une paire de DPU BlueField-3 et il vous reste dix emplacements PCI-Express et vous obtenez ceci :

Pour les cas d'utilisation de la 5G, pensez plus mince et plus petit, tout comme les machines de télécommunication conformes à NEBS le sont depuis des décennies. Voici à quoi ressemble la conception du serveur arial Grace-Hopper 5G :

Il s'agit d'un châssis de boîte à pizza MGX 1U avec une seule superpuce Grace-Grace, une paire de DPU BlueField-3, avec quatre emplacements PCI-Express 5.0 ouverts pour les périphériques. Et pour les espaces de point de présence (POP) étroits chez les opérateurs de télécommunications et autres fournisseurs de services, vous devez doubler la hauteur et la moitié de la longueur du châssis comme ceci :

Pour une raison quelconque, l'un des emplacements PCI-Express est configuré avec une carte réseau ConnectX-7 ainsi qu'un seul DPU BlueField-3. (Le facteur de forme ne devrait pas affecter la mise en réseau, nous supposons donc que Nvidia ne faisait que montrer des options.)

Si vous vous demandiez, comme nous, à quoi pourraient ressembler les nœuds de serveur "whitebox" du supercalculateur "Isambard 3" entrant dans le collectif GW4 au Royaume-Uni plus tard cette année, nous savons maintenant :

Et pour les machines HPC très denses qui ne peuvent pas compter sur le refroidissement par air (ou le refroidissement liquide dans les racks comme le fait Isambard 3), il existe une variante refroidie par liquide du MGX avec une paire de superpuces Grace-Grace :

Nvidia démarre avec huit partenaires MGX clés, dont beaucoup sont des fabricants de cartes mères et des fabricants de systèmes ODM. Ceux-ci incluent ASRock, ASUS, Gigabyte, Pegatron, Quanta Cloud Technology et Supermicro. L'idée est de fournir plus d'une centaine de conceptions de serveurs différentes pouvant être ciblées sur un large éventail de charges de travail, couvrant l'IA, le HPC, l'analyse de données, les jumeaux numériques, l'infrastructure cloud, les jeux cloud et la mise en réseau 5G.

Les architectures de référence MGX incluront des systèmes avec des boîtiers de rack 1U, 2U et 4U disponibles avec refroidissement par air et par liquide. L'idée est de prendre en charge l'ensemble du portefeuille d'accélérateurs GPU Nvidia, à commencer par les moteurs de calcul Hopper H100 et les accélérateurs d'inférence et graphiques "Lovelace" L4 et L40 AI. Sur le front du processeur, la superpuce Grace-Grace (elle n'a pas de nom mais GG200 a du sens) et la superpuce Grace-Hopper (appelée GH200) sont centrales, mais les processeurs X86, vraisemblablement d'Intel et d'AMD, seront inclus dans les conceptions MGX. (Au fait, pour autant que nous sachions, vous ne pouvez pas avoir un seul processeur Grace, que nous appellerions un CG100 si nous devions nommer la puce et un C100 comme son nom marketing si nous allions être cohérents avec la façon dont Nvidia nomme ses moteurs de calcul de centre de données jusqu'à présent.) En ce qui concerne la mise en réseau, les spécifications MGX commencent par les cartes d'interface réseau hybrides InfiniBand/Ethernet ConnectX-7 et les DPU BlueField-3.

Pour autant que nous le sachions, les conceptions MGX ne seront pas rétrodiffusées sur les GPU, CPU, DPU ou NIC précédents. C'est une chose très tournée vers l'avenir.

Le système ARS-221GL-NR de Supermicro, qui a été dévoilé au Computex, inclura la superpuce Grace-Grace dans une conception MGX existante et le système S74G-2U de QCT utilise une conception MGX avec la superpuce Grace-Hopper. SoftBank, le propriétaire d'Arm Holdings, prévoit d'utiliser les conceptions MGX dans plusieurs centres de données à grande échelle au Japon et d'allouer dynamiquement la capacité de traitement GPU à travers la 5G et les applications d'IA génératives gérées par ses conglomérats.

Lorsque nous avons parlé à Charlie Boyle, vice-président de la ligne DGX chez Nvidia et également l'exécutif qui dirige l'effort MGX, nous avons suggéré que MGX ressemblait un peu aux conceptions de serveurs Cray "Cascade" et "Shasta" en ce sens qu'ils permettaient plusieurs générations de calcul et d'interconnexions à y loger, permettant à Cray de répartir le coût des conceptions de systèmes sur différents types de calcul et de mise en réseau et sur plus d'une génération également. Il rit.

"Je ne sais pas si je ferais la comparaison avec Cray", a déclaré Boyle. "Je suis dans cette industrie depuis longtemps, vous savez, et c'est un système très personnalisé."

OK, c'est assez juste, mais ce n'était pas le but. Une comparaison avec le projet Open Compute de Facebook était un peu plus acceptable. Mais tout est une question de vitesse, pas de métaphores.

"Nous parlons des attributs physiques réels à l'intérieur du système", a déclaré Boyle à The Next Platform. "Lorsque nous avons commencé il y a des années avec la carte de base HGX, nous voulions faciliter la mise sur le marché de nos partenaires. Et pour tous ceux qui souhaitent construire des systèmes Grace-Hopper et Grace-Grace, et avoir une garantie multigénérationnelle sur l'architecture, avec MGX, ils peuvent construire rapidement des systèmes. clients plus rapidement, c'est super pour les partenaires et c'est super pour nous."

Boyle dit que cela peut prendre 18 mois à 24 mois pour qu'une conception de système typique - coûtant plusieurs millions de dollars - soit construite, testée et qualifiée pour la fabrication, et avec MGX Nvidia peut réduire cela à quelques mois car en fin de compte, ce que les partenaires ODM et OEM feront sera de sélectionner parmi un menu de composants et de les faire certifier pour se connecter et fonctionner. L'ODM et l'OEM ajoutent toutes les personnalisations, telles que les BMC et les mises à jour du micrologiciel, etc., et effectuent la qualification finale sur les composants assemblés.

Mais la vitesse est plus que cela. Il s'agit d'éviter les erreurs.

"Au cours des années où j'ai travaillé sur DGX, même si nous construisons notre propre système, je partage tout ce que nous faisons avec nos partenaires OEM et ODM pour les aider à obtenir du temps de mise sur le marché, pour leur montrer ce qui fonctionne et ce qui ne fonctionne pas, et quelles pièces nous utilisons - tout cela", déclare Boyle. "Ils sont très reconnaissants parce que tout ce sur quoi nous avons déjà travaillé - nous avons essayé, nous avons échoué, nous avons un meilleur composant pour cela, peu importe - si nous leur disons cela, alors ils n'ont pas besoin de faire ces mêmes expériences, ils n'ont pas besoin de reproduire le coût que nous avons traversé toutes ces fois. vraiment innover. C'est sur leur pile logicielle globale et sur leur offre globale. Il s'agit de leurs solutions. Le fait que les vis vont à un endroit différent dans dix conceptions de fabricants de systèmes différents, cela ajoute-t-il de la valeur au client final ? »

Cela signifie que les ODM et les OEM auront des coûts de R&D inférieurs, et cela signifie également que Nvidia peut garantir un certain degré de cohérence dans la manière dont ses périphériques de calcul et de mise en réseau sont intégrés dans les systèmes.

Nous nous attendons à ce que les ODM et les OEM pensent qu'ils ont des connaissances et des compétences particulières et qu'ils y résisteront un peu au début. Le projet Open Compute est né en collaboration avec Dell, qui a été le fabricant de serveurs de Facebook pendant de nombreuses années, car le réseau social voulait aller plus vite et réduire les coûts. Et après tout ce temps, Dell pense toujours que ses propres conceptions hyperscale sont meilleures que celles des méta-plateformes ou de Microsoft dans le projet Open Compute. De plus, les grands équipementiers craindront que les règles du jeu soient nivelées pour toute une série de petits fabricants de systèmes, ce qui leur rendra la vie plus difficile dans un sens.

Nous pensons que ces petits fabricants de systèmes seront initialement plus enthousiastes à propos de MGX que les grands OEM tels que Dell, Hewlett Packard Enterprise, Lenovo, Cisco Systems et Lenovo. Mais si ce que soutient Boyle est vrai - qu'ils gagneront plus d'argent en vendant des systèmes MGX qu'en construisant leurs propres clones DGX - alors ils iront pour cela.

Une dernière chose : cela pourrait aider si les conceptions MGX étaient ouvertes via le projet Open Compute. Pourquoi pas?

Avec les faits saillants, les analyses et les histoires de la semaine directement de nous dans votre boîte de réception, sans rien entre les deux.Inscrivez-vous maintenant