AI010

Panoramica tecnica di Red Hat AI Inference Server

Scegli il Paese

Scopri di più

I tuoi team possono accedere ai corsi di formazione presso la tua azienda, in presenza o in modalità remota.

Scopri l'esperienza di altri studenti che hanno partecipato a questo corso, nella Red Hat Learning Community.

Sfrutta tutto il potenziale della tua infrastruttura Kubernetes.

Ottieni informazioni essenziali sul deployment dell'IA con questa panoramica tecnica di Red Hat AI Inference Server. Scopri come affrontare le complessità e i costi legati all'esecuzione dei modelli di IA in produzione. Scopri come la soluzione di Red Hat, basata su vLLM, ottimizza le prestazioni e offre risparmi significativi in ambienti cloud, on premise, virtualizzati e all'edge. Approfondisci le tecniche avanzate come la quantizzazione e la decodifica speculativa per migliorare le capacità di inferenza IA. Questo contenuto video on demand illustra il deployment e la gestione ideali dei modelli all'interno di OpenShift AI, mostrando come ottenere un'efficienza e una flessibilità senza precedenti per i carichi di lavoro di IA.

Cos'è l'inferenza?
Sfide legate all'inferenza
La soluzione di Red Hat AI Inference Server
Integrazione con il portfolio Red Hat AI
Flessibilità del deployment
Strumento di compressione LLM (quantizzazione)
Tecniche di ottimizzazione delle prestazioni (cache KV, decodifica speculativa, inferenza con parallelismo tensoriale)
Casi cliente
Deployment e gestione dei modelli
Connessioni di storage per i modelli
Metriche e monitoraggio
Integrazione con Hugging Face

Cos'è l'inferenza?
Sfide legate all'inferenza
La soluzione di Red Hat AI Inference Server
Integrazione con il portfolio Red Hat AI
Flessibilità del deployment
Strumento di compressione LLM (quantizzazione)
Tecniche di ottimizzazione delle prestazioni (cache KV, decodifica speculativa, inferenza con parallelismo tensoriale)
Casi cliente
Deployment e gestione dei modelli
Connessioni di storage per i modelli
Metriche e monitoraggio
Integrazione con Hugging Face