Obtenga datos confidenciales para la inteligencia artificial con Cloudera en Red Hat OpenShift

Muchas empresas enfrentan desafíos para generar valor a partir de los datos y, al mismo tiempo, mantener estándares normativos estrictos establecidos para el manejo de datos confidenciales. Para estas empresas, gestionar conjuntos de datos grandes y complejos y, al mismo tiempo, mantener la eficiencia, la seguridad y la capacidad de ajuste es fundamental para la implementación. La colaboración entre Cloudera y Red Hat ofrece a los clientes una solución que permite que las empresas gestionen todo el ciclo de vida de los datos, lo cual les permite trabajar con mayor rapidez y reducir el tiempo de obtención de resultados. Con Cloudera Private Cloud en Red Hat OpenShift, las empresas obtienen datos agregados y visualizados que les permiten obtener información procesable en un entorno open source híbrido y centrado en la seguridad. En este artículo, aprenderá a aprovechar estas funciones para su estrategia de inteligencia artificial con las cargas de trabajo de Cloudera que se ejecutan en Red Hat OpenShift.  

Presentación de Cloudera en Red Hat OpenShift

Red Hat OpenShift es la plataforma de aplicaciones de nube híbrida líder del sector e impulsada por Kubernetes, que combina un conjunto integral de herramientas y servicios para optimizar todo el ciclo de vida de las aplicaciones, desde el desarrollo hasta la distribución y la gestión de las cargas de trabajo de las aplicaciones. Combina funciones de seguridad integradas con soporte exclusivo, una cadena de suministro de software confiable y Red Hat Enterprise Linux como base operativa. Los clientes de todo el mundo confían en OpenShift para ejecutar sus cargas de trabajo, ya que cuenta con diversas funciones, como la supervisión integrada, los entornos a demanda y la gestión centralizada de políticas. 

Cloudera Platform, que se ejecuta en OpenShift, ofrece cargas de trabajo analíticas, transaccionales y de machine learning (ML) potentes en una plataforma de datos híbrida. Con la opción de análisis flexible y tradicional y el almacenamiento de objetos escalable, Cloudera en las instalaciones moderniza las implementaciones de clústeres monolíticos tradicionales en una plataforma potente y eficiente. Permite que el usuario final acceda a los datos confidenciales y, al mismo tiempo, aprovecha el poder de la inteligencia artificial para aumentar la innovación en su empresa. Tres microservicios impulsan esta plataforma:

1. Cloudera Data Warehouse (CDW)
2. Cloudera Data Engineering (CDE)
3. Cloudera AI

Cloudera AI permite que los desarrolladores desarrollen, implementen y gestionen la inteligencia artificial en un entorno escalable y centrado en la seguridad. Luego, los desarrolladores pueden utilizar estos modelos para desarrollar agentes de inteligencia artificial  y aplicaciones de inteligencia artificial para abordar diversas necesidades comerciales. 

El poder de Cloudera AI en Red Hat OpenShift

Cloudera AI proporciona las herramientas para que los equipos de análisis de datos colaboren durante todo el ciclo de vida de los datos. Brinda acceso a canales de datos confiables centrados en la seguridad, recursos informáticos escalables y algunas otras herramientas. Al ejecutar la plataforma en Red Hat OpenShift, Cloudera IA aprovecha la potente organización de contenedores de Kubernetes para gestionar los recursos de manera eficiente y ajustar las cargas de trabajo de forma dinámica. Esto permite que las empresas diseñen modelos de inteligencia artificial con funciones de cumplimiento normativo y seguridad de nivel empresarial.

La ejecución de Cloudera AI en OpenShift permite que los analistas de datos, los ingenieros de ML, los ingenieros de DevOps y los desarrolladores de inteligencia artificial colaboren utilizando un espacio de trabajo compartido y protegiendo los datos confidenciales.

Ventajas de Cloudera AI en Red Hat OpenShift

Cloudera gestiona 25 exabytes de datos y es utilizado por 9 de cada 10 de las empresas más grandes del mundo. Con más de una década de experiencia en el desarrollo de soluciones para clientes con grandes volúmenes de datos, Cloudera está en una posición única para ofrecer una solución de inteligencia artificial generativa (gen AI) que se adapta a las necesidades de los clientes. Los clientes pueden utilizar Cloudera AI integrada con los datos de su empresa para influir en sus decisiones empresariales y generar resultados exitosos.

Funciones de cumplimiento normativo y seguridad a nivel empresarial para datos confidenciales

La seguridad es fundamental cuando se implementan modelos de inteligencia artificial que utilizan datos confidenciales de la empresa. Cloudera en OpenShift proporciona las siguientes características de seguridad:

• Cargas de trabajo en contenedores centradas en la seguridad: los espacios de nombres en Kubernetes proporcionan un mecanismo para determinar el alcance de los recursos en un clúster. Los espacios de nombres proporcionan un alcance único para los recursos con nombre para evitar colisiones de nombres básicas, delegar la autoridad de administración a usuarios de confianza y limitar el consumo de recursos de la comunidad. Al ejecutar las cargas de trabajo de inteligencia artificial y machine learning dentro de los contenedores en Red Hat OpenShift, Cloudera IA garantiza que cada carga de trabajo esté aislada en espacios de nombres independientes, lo que reduce el riesgo de filtraciones de datos y puntos vulnerables que podrían surgir en un modelo de implementación estándar que no sea de Kubernetes. Obtenga más información sobre las diversas funciones de seguridad en Red Hat OpenShift.
• Control y cumplimiento normativo: Cloudera ofrece funciones integradas para realizar un seguimiento del linaje de los datos, auditar el acceso y cumplir con las normas, como el RGPD y la HIPAA, entre otras. Apache Ranger, como parte de la experiencia de datos compartidos (SDX) de Cloudera, ofrece un control de acceso detallado a los datos en un lago de datos seguro de Cloudera, y Apache Atlas (también un componente del SDX mencionado anteriormente) proporciona la capacidad de auditoría para que los equipos de seguridad puedan realizar un seguimiento del uso de los datos, el acceso y la gestión de los metadatos. Estos elementos permiten que los clientes conozcan la forma en que se accede a los datos y cómo se utilizan, lo cual es fundamental para la elaboración de informes normativos y de cumplimiento normativo en relación con los conjuntos de datos confidenciales. En Red Hat OpenShift, Red Hat mantiene varios niveles de certificación de seguridad y cumplimiento. Junto con las funciones de Cloudera y Red Hat en el ámbito del cumplimiento normativo, la plataforma se centra en la seguridad y el cumplimiento para ayudar a mantener la seguridad de los datos.

Escalabilidad y gestión eficiente de los recursos

El diseño y la implementación de modelos de inteligencia artificial requieren una gran cantidad de recursos informáticos. La demanda varía según la etapa y el tipo de proyecto de inteligencia artificial. Cloudera AI, que se ejecuta en Red Hat OpenShift, ofrece la flexibilidad necesaria desde el primer momento para ampliar los recursos durante los picos de trabajo y reducirlos cuando ya no se necesitan. 

Gracias a la infraestructura basada en Kubernetes con Red Hat OpenShift, Cloudera AI permite que los clientes se encarguen de las tareas de inteligencia artificial a gran escala, como las siguientes:

• Entrenamiento de modelos de aprendizaje profundo: Cloudera AI puede entrenar de manera eficiente los modelos de aprendizaje automático complejos mediante el uso de la gran variedad de GPU que admite Red Hat OpenShift con soporte de GPU heterogéneo.
• Ejecución de inferencias a escala: una vez entrenados, los modelos de inteligencia artificial se pueden implementar en entornos de producción, donde generalmente se configura un flujo de datos continuo para permitir la inferencia en tiempo real y escalar en tamaño automáticamente a medida que aumenta la demanda.
• Agentes y aplicaciones de inteligencia artificial:  Cloudera AI facilita la implementación y el ajuste de los agentes y las aplicaciones basados en la inteligencia artificial, como los bots conversacionales interactivos, los asistentes virtuales, la recopilación de documentos y los sistemas autónomos de toma de decisiones.

Gestión de cuotas de Cloudera permite que los administradores controlen la forma en que los diferentes equipos y proyectos asignan los recursos dentro del entorno de trabajo de Cloudera AI. Al establecer cuotas para el uso de CPU, memoria y GPU para proyectos y espacios de trabajo específicos, los administradores utilizan los recursos de manera eficiente y evitan que un solo equipo o proyecto los monopolice. Estas funciones son fundamentales para priorizar las cargas de trabajo prioritarias basadas en acuerdos de nivel de servicio (SLA) a fin de recibir los recursos necesarios para ayudar a reducir los riesgos para la empresa.

Cloudera AI aprovecha la gestión de cuotas de Cloudera (Cloudera Quota Management) para mejorar la eficiencia de los recursos mediante:

• Asignación controlada de recursos: la gestión de cuotas permite a los administradores definir límites de recursos para cada usuario o proyecto. Este atributo único controla el aprovisionamiento para mantener la uniformidad, reducir los impactos del SLA y evitar la contención de recursos.
• Escalabilidad dinámica: Cloudera Platform on Red Hat OpenShift utiliza una arquitectura basada en Kubernetes para ajustar automáticamente las cargas de trabajo en respuesta a las demandas inmediatas de las aplicaciones. Por ejemplo, los recursos como las CPU, las GPU y la memoria se pueden aumentar de forma dinámica durante el entrenamiento del modelo para mejorar el rendimiento. Luego, durante las fases que requieren menos recursos, como el ajuste o la prueba de estos recursos, se pueden reducir para mantener la eficiencia y reducir los costos. Cloudera Quota Management garantiza que el escalamiento solo se produzca dentro de los límites de recursos predefinidos por el administrador, lo que optimiza los costos y evita el uso excesivo.
• Uso eficiente de las GPU: para las tareas de inteligencia artificial con uso intensivo de cómputo, los administradores de Cloudera AI pueden asignar GPU para acelerar el procesamiento para espacios de trabajo específicos donde sea necesario. Cloudera Data Platform funciona con OpenShift, que incluye mejoras en Kubernetes para que los usuarios puedan configurar y usar los recursos de GPU con mayor facilidad para acelerar las cargas de trabajo. 

Colaboración y eficiencia operativa

El desarrollo de modelos de inteligencia artificial requiere un enfoque colaborativo entre varios equipos con diferentes conjuntos de habilidades. Experiencia diversa que proviene de analistas de datos, ingenieros de ML, operaciones de TI, ingenieros de DevOps y partes interesadas de la empresa. Cloudera AI on Red Hat OpenShift ayuda a unir a estos equipos al proporcionar un entorno unificado donde todos pueden colaborar e impulsar la innovación. Las funciones colaborativas clave incluyen:

• Espacios de trabajo compartidos: varios miembros del equipo pueden trabajar en un entorno compartido, lo que les permite compartir fácilmente conjuntos de datos, artefactos de proyectos, códigos y modelos.
• Control de versiones: Cloudera AI se integra con Git, Bitbucket y otros controles de versiones para permitir que los equipos realicen un seguimiento de los cambios y usen diferentes ramas para el desarrollo.
• Automatización de MLOps: los clientes pueden automatizar todo el flujo de operaciones, desde el desarrollo del modelo hasta el ajuste, la implementación y la supervisión constante. Esto reduce el esfuerzo de inversión de desarrollo interno necesario para migrar los modelos de inteligencia artificial de un laboratorio a un entorno de producción.

Conclusión: impulsar la innovación de la inteligencia articial con datos confiables

El servicio de datos de Cloudera AI, que se ofrece como parte de Cloudera en OpenShift, ofrece a las empresas una solución potente para aumentar la innovación de la inteligencia artificial, ya que permite que los usuarios accedan a datos confidenciales gestionados de forma segura en CDP para entrenar y ajustar los modelos de inteligencia artificial. Combinando las funciones de Cloudera AI con la infraestructura de gestión de contenedores sólida y escalable de Red Hat OpenShift permite que las empresas diseñen, entrenen e implementen modelos de inteligencia artificial de manera eficiente, centrándose en la seguridad.

A medida que las empresas adoptan la inteligencia artificial para transformar sus negocios, la combinación de Cloudera AI y Red Hat OpenShift  ofrece una plataforma centrada en la seguridad para gestionar los datos confidenciales y ofrecer información basada en la inteligencia artificial según sea necesario. Ya sea que el cliente pertenezca a los sectores de las finanzas, la salud o cualquier otro sector que utilice muchos datos y tenga necesidades normativas y de cumplimiento, Cloudera AI en Red Hat OpenShift gestiona datos confidenciales con mucho cuidado y, al mismo tiempo, permite que los clientes aprovechen todo el potencial de la inteligencia artificial generativa.