-
Produits et documentation Red Hat AI
Plateforme de produits et de services pour le développement et le déploiement de l'IA dans le cloud hybride.
Red Hat AI Inference Server
Optimisez les performances des modèles avec un vLLM pour des inférences rapides et rentables à grande échelle.
Red Hat Enterprise Linux AI
Développez, testez et exécutez des modèles d'IA générative pour alimenter les applications d'entreprise.
Red Hat OpenShift AI
Assemblez et déployez des modèles et applications basés sur l'IA à grande échelle dans des environnements hybrides.
-
Ressources Bases
-
Partenaires pour l'IA
Modèles validés par Red Hat AI
Les modèles validés par Red Hat® AI offrent fiabilité, prévisibilité et flexibilité dans le cadre du déploiement de modèles d'IA générative tiers avec Red Hat AI.
Présentation
Face à la multitude de grands modèles de langage (LLM), de paramètres de serveur d'inférence et d'accélérateurs matériels, les entreprises doivent s'assurer de choisir la solution qui saura répondre à leurs besoins et offrir le bon compromis entre performances, précision et coût.
Pour faciliter ce choix, Red Hat AI fournit un accès à un référentiel de modèles tiers dont l'efficacité d'exécution sur la plateforme a été validée. Ces modèles tiers de premier plan sont soumis à des scénarios de planification des capacités. Ils permettent aux entreprises de choisir le modèle, les paramètres de déploiement et l'accélérateur matériel compatibles et adaptés à leur cas d'utilisation spécifique.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
Fonctions et avantages
Flexibilité renforcée
Inférence optimisée
Optimisez votre infrastructure d'IA en choisissant le modèle, les paramètres de déploiement et les accélérateurs matériels appropriés afin d'obtenir des déploiements efficaces, rentables et adaptés aux cas d'utilisation de votre entreprise.
Confiance améliorée
Accédez à des tests de performance, à des évaluations de la précision et à des outils d'optimisation des modèles pour évaluer, compresser et valider des modèles tiers dans différents scénarios de déploiement.
Exploitez tout le potentiel de vos modèles
La validation des modèles est réalisée à l'aide d'outils Open Source tels que les frameworks GuideLLM et Language Model Evaluation Harness, ainsi que le vLLM pour garantir la reproductibilité.
Modèles validés
Ces modèles ne sont pas des LLM standards. Les modèles tiers sont testés à l'aide de scénarios concrets afin de déterminer leurs performances en conditions réelles. Nous utilisons des outils spécialisés pour évaluer les performances des LLM dans diverses configurations matérielles.
- L'outil GuideLLM évalue les performances et les coûts dans plusieurs configurations matérielles.
- L'outil LM Evaluation Harness teste la généralisation des modèles pour plusieurs tâches.
Modèles optimisés
Ces modèles sont compressés pour offrir rapidité et efficacité. Ces LLM sont conçus pour s'exécuter plus vite et utiliser moins de ressources, sans diminuer la précision lors de leur déploiement sur le vLLM.
- L'outil LLM Compressor est une bibliothèque Open Source qui inclut les derniers résultats de la recherche en matière de compression de modèles et qui permet de générer facilement des modèles compressés.
- Le vLLM est le principal moteur Open Source d'inférence et de distribution à débit élevé et à utilisation efficace de la mémoire pour les LLM optimisés.
Créez des solutions adaptées avec Red Hat AI
La gamme Red Hat AI vous offre une plateforme d'IA Open Source qui s'adapte au fonctionnement de votre entreprise. Réduisez les coûts à l'aide de modèles efficaces, personnalisez ces modèles avec vos données et vos compétences spécialisées, et déployez et gérez des charges de travail de manière cohérente dans toutes les infrastructures. Utilisez des outils conçus pour aider vos équipes à collaborer et à évoluer.
Foire aux questions
Où peut-on trouver les modèles validés ?
Les modèles validés sont disponibles dans le référentiel Red Hat AI Ecosystem Catalog et le référentiel Red Hat AI sur Hugging Face. Ce dernier inclut la description complète des modèles, les pondérations SafeTensor et les commandes pour un déploiement rapide sur Red Hat AI Inference Server, RHEL AI et Red Hat OpenShift AI.
À quelle fréquence de nouveaux modèles validés sont-ils ajoutés ?
Red Hat prévoit d'ajouter un nouvel ensemble de modèles validés tous les mois, pour suivre le rythme de lancement des versions du vLLM en amont. Red Hat se réserve le droit d'interrompre la validation de modèles qu'elle qu'en soit la raison.
Quel est le cycle de vie d'un modèle validé ?
Les modèles sélectionnés sont validés à partir des versions N+2 mineures du vLLM au minimum, de manière transparente. Pour chaque modèle validé sur une version du vLLM, nous nous efforçons de garantir la compatibilité avec les deux prochaines versions du vLLM au minimum.
Ces modèles optimisés et validés sont-ils entièrement pris en charge par l'équipe d'assistance Red Hat ?
Non. Les modèles tiers ne sont pas pris en charge, indemnisés, certifiés ou garantis de quelque manière que ce soit par Red Hat. De plus, notez que les recommandations concernant les capacités sont données à titre informatif uniquement et ne garantissent pas les performances ou la précision. Pour en savoir plus sur la licence d'un modèle donné, contactez son fournisseur.
Comment peut-on obtenir des recommandations sur le déploiement, la configuration et les accélérateurs matériels pour un cas d'utilisation spécifique ?
Pour en savoir plus, envoyez vos questions à l'adresse [email protected].
