Kubernetes, Ray, PyTorch et Vllm

Dans le paysage en évolution rapide de l’intelligence artificielle, la complexité des piles de logiciels pour l’exécution et la mise à l’échelle des charges de travail d’IA a considérablement augmenté. Alors que l’apprentissage en profondeur et l’IA générative continuent de progresser, les industries normalisent les piles technologiques courantes open source. Ce décalage fait écho à la transition de Hadoop à Spark dans l’analyse des Big Data, Kubernetes émergeant comme la norme pour l’orchestration des conteneurs et les cadres d’apprentissage en profondeur dominants étant Pytorch.

Composants clés de la pile de calcul AI

Les composants principaux d’une pile de calcul AI moderne sont Kubernetes, Ray, Pytorch et VllM. Ces technologies open source constituent une infrastructure robuste capable de gérer les demandes de calcul et de traitement des données intenses des applications d’IA. La pile est structurée en trois couches primaires :

• Cadre de formation et d’inférence : Cette couche se concentre sur l’optimisation des performances du modèle sur les GPU, y compris la compilation du modèle, la gestion de la mémoire et les stratégies de parallélisme. Pytorch, connu pour sa polyvalence et son efficacité, est le cadre dominant ici.
• Moteur de calcul distribué : Ray sert de squelette pour la planification des tâches, la gestion du mouvement des données et la gestion des échecs. Il est particulièrement adapté aux tâches Python-Native et GPU, le rendant idéal pour les charges de travail de l’IA.
• Orchestrateur de conteneurs : Kubernetes alloue les ressources de calcul, gère la planification des emplois et assure le multitenance. Il offre la flexibilité nécessaire pour mettre à l’échelle efficacement les charges de travail de l’IA dans les environnements cloud.

Études de cas : adoption de l’industrie

Des sociétés de premier plan comme Pinterest, Uber et Roblox ont adopté cette pile technologique pour alimenter leurs initiatives d’IA. Pinterest, par exemple, utilise Kubernetes, Ray, Pytorch et VLLM pour améliorer la vitesse des développeurs et réduire les coûts. Leur transition de Spark à Ray a considérablement amélioré l’utilisation du GPU et le débit de formation.

Uber a également adopté cette pile, l’intégrant dans leur plateforme Michel-Ange ML. La combinaison de Ray et Kubernetes a permis à Uber d’optimiser leurs processus de formation et d’évaluation LLM, obtenant des améliorations de débit et des rendements notables.

Le parcours de Roblox avec l’infrastructure d’IA met en évidence l’adaptabilité de la pile. S’appuyant initialement sur Kubeflow et Spark, ils sont passés à l’intégration de Ray et VLLM, entraînant des améliorations substantielles des performances et des réductions de coûts pour leurs charges de travail d’IA.

Charges de travail de l’IA à l’épreuve des futurs

L’adaptabilité de cette pile technologique est cruciale pour les charges de travail d’IA à l’épreuve des futurs. Elle permet aux équipes d’intégrer de manière transparente de nouveaux modèles, cadres et ressources de calcul sans recommandations approfondies. Cette flexibilité est vitale, car l’IA continue d’évoluer, garantissant que les organisations peuvent suivre le rythme des progrès technologiques.

Dans l’ensemble, la normalisation sur Kubernetes, Ray, Pytorch et VllM façonne l’avenir de l’infrastructure d’IA. En tirant parti de ces outils open source, les entreprises peuvent créer des applications d’IA évolutives, efficaces et adaptables, se positionnant à la pointe de l’innovation dans le paysage de l’IA.

Pour plus d’informations détaillées, visitez l’article original.

Source de l’image : Shutterstock