Modelos validados por Red Hat AI
Los modelos validados por Red Hat® AI ofrecen confiabilidad, flexibilidad y capacidad de predicción a la hora de implementar modelos de inteligencia artificial generativa de terceros en la plataforma de Red Hat AI.
Resumen
Con tantos modelos de lenguaje de gran tamaño (LLM), configuraciones de servidor de inferencias y opciones de acelerador de hardware disponibles, debes evaluar detalladamente la combinación adecuada para tus necesidades. Así, podrás garantizar el equilibrio correcto entre rendimiento, precisión y costos para tu caso práctico.
Con este fin, Red Hat AI proporciona acceso a un repositorio de modelos de terceros que están validados para funcionar en la plataforma de manera eficiente. Este conjunto de modelos de terceros destacados se ejecutan en simulaciones que permiten estimar los recursos necesarios, de manera que puedas tomar decisiones fundamentadas sobre la combinación correcta de modelo, configuración de implementación y acelerador de hardware para tus casos prácticos específicos del área.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
Funciones y ventajas
Mayor flexibilidad
Accede al conjunto de modelos validados y optimizados listos para la inferencia, que se alojan en Hugging Face, para agilizar la obtención de resultados, impulsar la uniformidad y aumentar la confiabilidad de tus aplicaciones de inteligencia artificial.
Inferencia optimizada
Optimiza tu infraestructura de inteligencia artificial eligiendo el modelo, la configuración de implementación y los aceleradores de hardware adecuados para implementar modelos según los casos prácticos de tu empresa de manera rentable y eficiente.
Mayor confianza
Accede a indicadores del sector, evaluaciones de precisión y herramientas de optimización de modelos para analizar, comprimir y validar modelos de terceros en varios casos de implementación.
Aprovecha al máximo tus modelos
La validación de modelos de Red Hat AI se lleva a cabo con herramientas open source como GuideLLM, Language Model Evaluation Harness y vLLM para garantizar la capacidad de replicación a los clientes.
Modelos validados
No se trata de cualquier LLM. Hemos probado distintos modelos de terceros con simulaciones realistas para comprender exactamente su comportamiento verdadero. Utilizamos herramientas especializadas para evaluar el rendimiento de los LLM en una amplia variedad de hardware.
- GuideLLM evalúa el rendimiento y los costos en varios sistemas de hardware.
- LM Evaluation Harness prueba la generalización de los modelos en distintas tareas.
Modelos optimizados
Comprimidos para obtener mayor velocidad y eficiencia. Estos LLM están diseñados para ejecutarse más rápido y utilizar menos recursos sin comprometer la precisión a la hora de implementarse en vLLM.
- LLM Compressor es una biblioteca open source que incluye las investigaciones más recientes en materia de compresión de modelos en una única herramienta, lo que permite generar fácilmente modelos comprimidos casi sin esfuerzo.
- vLLM es el principal motor open source de inferencia y de puesta a disposición de modelos de alto rendimiento y uso eficiente de la memoria para los LLM optimizados.
Diseña las soluciones que necesitas con Red Hat AI
Red Hat AI es la plataforma open source de inteligencia artificial que se adapta a tus necesidades. Reduce los costos con modelos eficientes, personalízalos con tus datos y experiencia en el sector, e implementa y gestiona las cargas de trabajo de manera uniforme en todo tipo de infraestructuras. Todo ello con herramientas que facilitan la colaboración entre los equipos y el ajuste de los sistemas.
Preguntas frecuentes
¿Dónde se pueden encontrar los modelos validados?
Los modelos validados están disponibles en la categoría inteligencia artificial de Red Hat Ecosystem Catalog y en el repositorio de Red Hat AI en Hugging Face. Este último incluye la información completa de los modelos, los pesos de SafeTensor y los comandos para las implementaciones rápidas en Red Hat AI Inference Server, RHEL AI y Red Hat OpenShift AI.
¿Con qué frecuencia se agregan nuevos modelos validados?
Red Hat intenta lanzar un nuevo conjunto de modelos validados por mes, siguiendo la frecuencia de lanzamientos de vLLM upstream. Red Hat se reserva el derecho de dejar de validar modelos por cualquier motivo.
¿Cómo es el ciclo de vida de los modelos validados?
Se trata de garantizar que los modelos seleccionados se validen en las versiones secundarias n+2 de vLLM, como mínimo. Es decir, para cada modelo que validemos en una versión de vLLM, nos esforzaremos por ofrecer su compatibilidad con, al menos, las dos versiones siguientes.
¿Estos modelos validados y optimizados cuentan con soporte completo del equipo de Soporte de Red Hat?
No, los modelos de terceros no cuentan con ningún tipo de soporte, protección, certificación ni garantía de Red Hat. Además, la estimación de los recursos necesarios solo sirve de orientación, no de garantía de rendimiento ni precisión. Para obtener más información sobre la licencia de un modelo específico, comunícate con el proveedor del modelo.
¿Cómo se accede a una orientación personalizada sobre aceleradores de hardware, configuraciones e implementaciones de LLM para casos prácticos empresariales?
Envía tu consulta a [email protected] para obtener más información.
