Quel GPU convient le mieux à la formation à l'IA en 2020?

NVIDIA a spécifiquement développé des cœurs de précision mixtes tels que Tensor Core dans de nouvelles microarchitectures pour optimiser les opérations matricielles dans l'apprentissage en profondeur, de sorte que le GPU avec Tensor Core est le meilleur choix pour l'apprentissage de l'IA.

Il est bien connu que les modèles d'apprentissage profond d'aujourd'hui occupent une énorme quantité de mémoire vidéo, et de nombreux GPU qui ont été puissants en termes de performances peuvent maintenant éprouver un manque de mémoire. L'article examine quels GPU peuvent enseigner des modèles sans erreurs de mémoire et quelles cartes vidéo sont mieux adaptées aux PC et aux petits postes de travail. La principale conclusion de l'article est que la quantité de mémoire vidéo est importante. Oui, la quantité de mémoire vidéo freine la formation de nombreux modèles d'apprentissage profond.

En raison de l'avancement rapide de la technologie d'apprentissage profond, les vieux jours de 12 Go de RAM sont une chose du passé, et en février 2020, pour former les meilleurs modèles de l'industrie, vous devrez dépenser au moins 2 500 $ sur l'un des plus récents Titan RTX de NVIDIA, et d'ici la fin de cette année, Il est même impossible d'imaginer à quoi il ressemblera.

Consommateur
Pour un utilisateur individuel, le choix préféré est la série GeForce grand public de NVIDIA. Les options plus économiques sont:

GeForce RTX 2080 Ti: 1200 dollars, 11 GByte caméras vidéo, microarchitecture Turing (substrat Tensor Core)
Titan RTX: 2500 poupées., 24 GByte cartes vidéo, microarchitecture Turing (substrat Tensor Core).
Il est important de noter que ces cartes vidéo grand public ne supportent pas très bien le parallélisme multi-cartes, par défaut elles ne supportent pas la communication directe entre plusieurs cartes, si nous voulons 1 carte et 2 cartes pour communiquer entre elles, Les données seront copiées de la mémoire vidéo de la carte 1 vers la mémoire principale via le bus PIC-E. Et puis de la mémoire principale à la mémoire de 2 cartes via PCI-E, ce qui est évidemment une très grande perte de temps et n'est pas propice à la connexion entre plusieurs cartes. Les 2080 Ti et Titan RTX n'ont pas un bon support P2P (Peer-to-Peer) sur plusieurs cartes PCI-E, mais cela ne signifie pas qu'ils ne prennent pas en charge NVLink, qui est disponible pour les utilisateurs qui achètent le pont NVLink pour créer un lien entre plusieurs cartes. Certains soutiennent que le problème est un défaut de conception pour les deux GPU, tandis que d'autres croient que NVIDIA est délibérément allé à elle pour obtenir les gens ayant des besoins informatiques parallèles sur plusieurs cartes pour acheter un GPU de la série Telsa.

Entreprise
Les processeurs graphiques du centre de données sont plus chers et adaptés aux utilisateurs d'entreprise, ils ont une mémoire vidéo plus élevée et supportent mieux le parallélisme multi-cartes.

Quadro RTX 6000: 4000 dollars, 24 GByte cartes vidéo, microarchitecture Turing (soutien Tensor Core)
Quadro RTX 8000: 5500 dollars U.S.A., 48 Cadeau Vidéo, T.
Telsa V100: cartes vidéo 16 ou 32 Go en deux variantes, PCI-E et NVLink, microarchitecture Volta (substrat Tensor Core)
Telsa V100S: caméras vidéo 32 GByte, bus PCI-E, microarchitecture Volta (substrat Tensor Core)
Les GPU d'entreprise sont généralement connectés à des serveurs ou des postes de travail, qui ne sont pas bon marché en eux-mêmes, surtout si l'on considère que le coût des serveurs prenant en charge la plate-forme Telsa est de 100 mille. $. Bien entendu, les coûts tels que la construction de salles de serveurs et l'électricité ne sont pas pris en compte ici.

En mai 2020, lors du GTC 2020, NVIDIA a publié une nouvelle génération de microarchitecture Ampère, ainsi que la carte vidéo Telsa A100. La capacité de la carte graphique A100 à apprendre et à raisonner en intelligence artificielle est devenue plus forte, et un A100 peut être divisé en sept GPU indépendants pour résoudre divers problèmes informatiques.

Pour ceux qui ont plusieurs cartes pour résoudre des tâches d'apprentissage parallèles, il est recommandé de sélectionner des cartes vidéo de la série Telsa avec le support NVLink.

Résumé
Pour la recherche en apprentissage profond, GeForce RTX 2080 Ti (11 Go) est probablement la norme de démarrage; Titan RTX (24 Go) est une bonne option, offrant un équilibre entre prix, mémoire vidéo et performances de calcul. Pour les utilisateurs professionnels, les cartes telles que Quadro RTX 8000 (48 Go) et Telsa V100 (32 Go) conviennent aux chercheurs avancés dans le domaine de l'apprentissage profond. Au second semestre 2020, de nouvelles plates-formes informatiques NVIDIA seront livrées, ce qui, d'une part, augmentera la productivité et, d'autre part, réduira les prix des produits existants.

Maintenant que l'équipement physique est coûteux, il peut être utile de prêter attention aux GPU dans le cloud.