La dernière intégration des GPU RTX par Nvidia avec n’importe quoi offre des performances plus rapides pour les workflows d’IA locaux, améliorant l’accessibilité pour les amateurs d’IA.

NVIDIA a introduit des améliorations significatives à n’importe quoi, une application AI tout-en-un, en intégrant la prise en charge des microservices NVIDIA NIM et des GPU RTX. Cette évolution promet des performances plus rapides et des flux de travail locaux plus réactifs, selon le blog officiel de Nvidia.

Qu’est-ce que quelque chose vallm?

Tout est conçu pour offrir aux utilisateurs une application complète d’IA qui permet l’exécution de modèles locaux de grande langue (LLMS), de systèmes de génération (RAG) et d’outils. Il comble l’écart entre les LLM préférés des utilisateurs et leurs données, facilitant les tâches telles que la réponse aux questions, les requêtes de données personnelles, le résumé des documents, l’analyse des données et les actions agentiques. L’application prend en charge une variété de LLM locaux open source et de LLM à cloud plus importants de fournisseurs comme OpenAI et Microsoft.

L’application est accessible avec une installation en un clic et peut fonctionner comme une application ou une extension de navigateur autonome, offrant une expérience conviviale sans configuration compliquée. Cela le rend particulièrement attrayant pour les amateurs d’IA avec des systèmes équipés de GeForce RTX et NVIDIA RTX Pro GPUS.

RTX alimente n’importe quoi accélération

L’intégration de GeForce RTX et NVIDIA RTX Pro GPU améliore considérablement les performances de n’importe quoi en accélérant les processus d’inférence avec des noyaux de tenseur optimisés pour l’accélération de l’IA. L’utilisation d’Ollamma et Llama.CPP pour l’exécution sur les appareils, ainsi que les bibliothèques de tenseur GGML, optimise davantage les processus d’apprentissage automatique sur les GPU NVIDIA RTX. Ces améliorations entraînent une augmentation des performances, le GeForce RTX 5090 fournissant 2,4 fois plus de déduction LLM plus rapide par rapport au M3 Ultra d’Apple.

Nouvelles capacités avec NVIDIA NIM

La prise en charge de tout ce que NVIDIA NIM Microservices offre aux utilisateurs des modèles d’IA génératifs pré-emballés qui simplifient l’initiation des flux de travail AI sur les PC RTX AI. Ces microservices sont bénéfiques pour les développeurs qui cherchent à tester rapidement des modèles d’IA génératifs dans les flux de travail. Ils fournissent un processus rationalisé en offrant un seul conteneur avec tous les composants nécessaires, capables d’exécuter à la fois localement et sur le cloud.

Avec l’interface conviviale de n’importe quoi, les utilisateurs peuvent facilement expérimenter et intégrer les microservices NIM dans leurs workflows. De plus, les Blueprints AI de NVIDIA et la documentation NIM fournissent des ressources supplémentaires aux utilisateurs afin d’améliorer leurs projets d’IA.

Le développement en cours des microservices NIM de NVIDIA et des plans d’IA devrait débloquer plus de cas d’utilisation d’IA multimodaux, étendant encore les capacités d’applications comme n’importe quoi.

Source de l’image: Shutterstock