Validierte Modelle von Red Hat AI
Validierte Modelle von Red Hat® AI bieten Vertrauen, Vorhersagbarkeit und Flexibilität beim Einsatz von generativen KI-Modellen von Drittanbietern auf der Red Hat AI Plattform.
Überblick
Bei der Vielzahl der verfügbaren LLMs (Large Language Models), Einstellungen für Inferenzserver und Optionen für Hardwarebeschleuniger sollten Sie die richtige Mischung für Ihre Anforderungen sorgfältig evaluieren. So stellen Sie sicher, dass Sie geeignete Kompromisse zwischen Performance, Genauigkeit und Kosten für Ihren Use Case finden.
Um dies zu unterstützen, bietet Red Hat AI Zugriff auf ein Repository mit Modellen von Drittanbietern, die für eine effiziente Ausführung auf der Plattform validiert sind. Diese führenden Modelle von Drittanbietern werden in Szenarien zur Kapazitätsplanung eingesetzt, damit Sie fundierte Entscheidungen über die richtige Kombination aus Modell, Einstellungen für das Deployment und Hardwarebeschleuniger für Ihre domainspezifischen Use Cases treffen können.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
Features und Vorteile
Mehr Flexibilität
Greifen Sie auf die von Hugging Face gehostete Sammlung validierter und optimierter Modelle zu, die zur Inferenz bereitstehen, und reduzieren Sie so die Zeit bis zur Wertschöpfung, fördern Sie die Konsistenz und erhöhen Sie die Zuverlässigkeit Ihrer KI-Anwendungen.
Optimierte Inferenz
Optimieren Sie Ihre KI-Infrastruktur, indem Sie das richtige Modell, geeignete Einstellungen für die Bereitstellung und Hardwarebeschleuniger auswählen, um ein kostengünstiges, effizientes und auf die Use Cases in Ihrem Unternehmen abgestimmtes Deployment zu gewährleisten.
Mehr Vertrauen
Greifen Sie auf branchenübliche Benchmarks, Genauigkeitsbewertungen und Tools zur Modelloptimierung zu, um die Modelle von Drittanbietern in verschiedenen Einsatzszenarien zu bewerten, zu komprimieren und zu validieren.
Profitieren Sie mehr von Ihren Modellen
Die Validierung von Modellen unter Red Hat AI erfolgt mit OpenSource Tools wie GuideLLM, Language Model Evaluation Harness und vLLM, um die Reproduzierbarkeit für Kunden zu gewährleisten.
Validierte Modelle
Dies sind nicht nur irgendwelche LLMs. Wir haben die Modelle von Drittanbietern anhand realistischer Szenarien getestet, um genau zu verstehen, wie sie sich in der Praxis verhalten werden. Wir verwenden spezielle Tools, um die Performance von LLMs auf verschiedener Hardware zu bewerten.
- GuideLLM testet die Performance und Kosten verschiedener Hardware-Konfigurationen.
- LM Evaluation Harness testet die Modellgeneralisierung bei verschiedenen Aufgaben.
Optimierte Modelle
Komprimiert für Geschwindigkeit und Effizienz. Diese LLMs sind so konzipiert, dass sie schneller arbeiten und weniger Ressourcen verbrauchen, ohne bei der Bereitstellung auf vLLM an Genauigkeit einzubüßen.
- LLM Compressor ist eine Open Source Library, die die neueste Forschung auf dem Gebiet der Modellkompression in einem einzigen Tool vereint und eine unkomplizierte Erzeugung komprimierter Modelle mit minimalem Aufwand ermöglicht.
- vLLM ist die führende, speichereffiziente Open Source-Inferenz- und Serving-Engine für optimierte LLMs mit hohem Durchsatz.
Entwickeln von Lösungen nach Ihren Anforderungen mit Red Hat AI
Red Hat AI ist die Open Source-basierte KI-Plattform, die sich an Ihre Anforderungen anpasst. Senken Sie die Kosten mit effizienten Modellen, passen Sie sie an Ihre Daten und Ihr Fachwissen an, und profitieren Sie von einer konsistenten Bereitstellung und Verwaltung der Workloads in beliebigen Infrastrukturen. Dabei stehen Ihnen Tools zur Verfügung, die Ihren Teams die Zusammenarbeit und Skalierung erleichtern.
Häufig gestellte Fragen
Wo finde ich die validierten Modelle?
Die validierten Modelle sind im Red Hat AI Ecosystem Catalog und im Red Hat AI Repository auf Hugging Face verfügbar. Letzteres enthält vollständige Modelldetails, SafeTensor-Gewichte und Befehle für einen schnellen Einsatz mit Red Hat AI Inference Server, RHEL AI und Red Hat OpenShift AI.
Wie oft werden neue, validierte Modelle hinzugefügt?
Red Hat beabsichtigt, monatlich einen neuen Satz validierter Modelle zu veröffentlichen und damit der Häufigkeit der Upstream-Releases von vLLM zu folgen. Red Hat behält sich das Recht vor, die Validierung von Modellen ohne Angabe von Gründen einzustellen.
Können Sie den Lifecycle validierter Modelle erläutern?
Ausgewählte Modelle werden mindestens für n+2 vLLM-Nebenversionen auf Vertrauensbasis validiert. Für die Modelle, die wir in einer vLLM-Version validieren, beabsichtigen wir, die Vorwärtskompatibilität der Modelle für mindestens die beiden nächsten Versionen von vLLM zu ermöglichen.
Erhalten diese validierten und optimierten Modelle vollständigen Support durch das Red Hat Support Team?
Nein, für Modelle von Drittanbietern gewährt Red Hat keine Unterstützung, Entschädigung, Zertifizierung oder Garantie jeglicher Art. Darüber hinaus sind Kapazitätsrichtwerte lediglich Richtwerte, die keine Garantie für die Performance oder Genauigkeit darstellen. Weitere Angaben zur Lizenz für ein bestimmtes Modell erhalten Sie vom Anbieter des Modells.
Wie erhalte ich individuelle Anleitung zur Bereitstellung, Konfiguration und Hardwarebeschleunigung von LLM für Use Cases in meinem Unternehmen?
Richten Sie entsprechende Anfragen bitte an [email protected].
