Protección y seguridad de los sistemas de inteligencia artificial

Es difícil imaginar un sistema informático moderno que no haya sido mejorado gracias a la inteligencia artificial (IA). Por ejemplo, cuando toma una fotografía con la cámara de su teléfono inteligente, en promedio, más de veinte modelos de aprendizaje profundo (DL) entran en acción, que van desde la detección de objetos hasta la percepción de profundidad, todos trabajando al unísono para ayudarlo a tomar esa foto perfecta.

Los procesos empresariales, las aplicaciones de productividad y la experiencia del usuario se pueden mejorar con algún tipo de inteligencia artificial, y pocas otras tecnologías han crecido con el mismo tamaño, velocidad y alcance. Sin embargo, como cualquier otra tecnología, la inteligencia artificial conlleva sus propios riesgos, que, en este caso, incluyen la seguridad y, posiblemente, incluso las obligaciones legales. En este artículo, analizaremos brevemente algunos de estos problemas de seguridad, en particular los relacionados con la inteligencia artificial generativa (gen AI), y veremos cómo podemos desarrollar sistemas de inteligencia artificial más seguros y confiables.

Diferenciación entre seguridad y protección

Al igual que cualquier sistema informático (hardware o software), los sistemas de inteligencia artificial se pueden usar con fines maliciosos, como jailbreaking, inyección de solicitudes, capacitación adversaria y otras cosas. Sin embargo, los sistemas de inteligencia artificial aportan un nuevo paradigma al sector: el concepto de seguridad de los datos de salida. Esto se debe principalmente a lo siguiente:

• La salida de la inteligencia artificial a menudo se genera en función del entrenamiento previo del modelo, y la calidad de la salida depende de la calidad de los datos usados en el entrenamiento. Los modelos conocidos se enorgullecen de usar la mayor cantidad de datos disponibles, que a menudo se mide por la cantidad de tokens usados para entrenar el modelo. La teoría es que cuantos más tokens se usen, más efectivo será el entrenamiento del modelo.
• La salida del modelo se puede utilizar para ayudar a tomar decisiones empresariales, técnicas y de usuarios. Esto plantea el riesgo de pérdidas financieras, así como posibles implicaciones legales y de seguridad. Por ejemplo, no hay escasez de código inseguro en Internet, por lo que cualquier modelo entrenado en él corre el riesgo de generar código inseguro como resultado. Si este código generado se usa directamente en un proyecto de software, podría convertirse en un tipo completamente nuevo de ataque a la cadena de suministro.

Si bien algunos aspectos de la seguridad y la protección de la inteligencia artificial están entrelazados, la mayoría de los marcos de seguridad tienden a abordarlos por separado. Los estándares de seguridad para las computadoras son un paradigma relativamente nuevo para la mayoría de las empresas, y todavía estamos tratando de comprenderlos.

Consideraciones de seguridad al usar modelos de inteligencia artificial

En pocas palabras, los modelos de inteligencia artificial de generación funcionan prediciendo la siguiente palabra en una oración. Si bien estos modelos han evolucionado para ser mucho más avanzados, aún funcionan fundamentalmente sobre este principio. Esto significa que hay algunos aspectos interesantes que se deben tener en cuenta al hablar de la seguridad de la inteligencia artificial.

Garbage in, garbage out

La basura que entra, la basura que sale (garbage in, garbage out) es un principio muy básico de la informática que aún se aplica a los modelos de inteligencia artificial de, pero de una manera ligeramente diferente. Un modelo de inteligencia artificial de generación "aprende" de un conjunto particular de datos en su fase de entrenamiento. Por lo general, esta fase de capacitación se divide en dos partes. La primera parte es la fase previa a la capacitación, en la que se usa un gran corpus de datos, que a menudo se obtiene de Internet. La segunda parte es la fase de ajuste, donde los datos que son específicos para el propósito del modelo se usan para mejorar el modelo en una tarea o conjunto de tareas más enfocadas. Algunos modelos pueden pasar por más de dos fases, según la arquitectura y el propósito del modelo.

Como es de esperar, entrenar su modelo con datos obtenidos de forma masiva de Internet, sin filtrar el contenido confidencial, inseguro u ofensivo, puede tener algunos resultados inesperados y adversos.

Los modelos tienen alucinaciones

A menudo comparo los modelos de inteligencia artificial con los niños pequeños. Cuando los niños no saben la respuesta a una pregunta, a menudo inventan una historia completamente falsa pero convincente. Los modelos son similares en muchos aspectos, pero el resultado puede ser más peligroso o dañino, especialmente cuando los modelos generan respuestas que pueden tener implicaciones financieras, sociales o de seguridad.

Pruebas de seguridad y evaluación comparativa

Si bien la industria de la inteligencia artificial aún se encuentra en sus etapas iniciales, ha habido algunas propuestas de estándares de evaluación comparativa que creemos que son interesantes y a las que vale la pena prestar atención:

• El grupo de trabajo de MLCommons AI Safety ha publicado la prueba de concepto (POC) de MLCommons AI Safety v0.5. La POC se centra en medir la seguridad de los modelos de lenguaje extenso (LLM) mediante la evaluación de las respuestas de los modelos a las solicitudes en varias categorías de peligros.
• El Instituto Nacional de Estándares y Tecnología (NIST), dependiente del Departamento de Comercio de los Estados Unidos, ha publicado un Marco de gestión de riesgos de inteligencia artificial (AI RMF 1.0). AI RMF analiza cómo cuantificar y detectar riesgos, así como comprender sus manifestaciones, impactos y gestión
• Trusty AI es un proyecto open source iniciado por Red Hat que busca mitigar los problemas relacionados con el sesgo de la IA

Creación de medidas de protección

Las aplicaciones y los modelos de medidas de seguridad usan varios métodos para ayudar a garantizar que la salida de un modelo cumpla con los requisitos de seguridad establecidos. Existen varias herramientas open source y proyectos que pueden ayudar a establecer estas medidas de seguridad. Sin embargo, una medida de seguridad es solo otra pieza de software y viene con sus propios riesgos y limitaciones. Depende de los creadores de modelos establecer mecanismos para medir y comparar el daño de sus modelos antes de ponerlos en producción.

Motivos por los que el open source marca la diferencia

Si bien el sector todavía está debatiendo qué constituye un modelo open source para la inteligencia artificial y cuál debería ser ese modelo, IBM y Red Hat lideran el camino al implementar estándares abiertos y datos abiertos para los modelos de inteligencia artificial que ofrecemos. Como las siguientes:

• Los modelos básicos Granite de IBM, que se envían con la inteligencia artificial de Red Hat Enterprise Linux (RHEL), se entrenan previamente en los datos abiertos. Esto significa que todas las fuentes de datos se publican y están disponibles para su inspección. También se utilizan varias técnicas de depuración de datos en los datos de entrenamiento previo para ayudar a filtrar el contenido potencialmente confidencial, inseguro y ofensivo antes de que se envíe al modelo.
• El proyecto InstructLab de Red Hat ayuda a simplificar la fase de ajuste del entrenamiento de modelos. Entre otras cosas, esto ayuda a reducir los posibles problemas éticos y de seguridad con la salida del modelo. Una cantidad considerable de investigaciones recientes respalda esta teoría. Puede obtener más información en este artículo del blog de Google: Protección de los usuarios con datos de entrenamiento sintéticos de privacidad diferencial

Red Hat también es miembro fundador de AI Alliance. Se trata de una red colaborativa de empresas, universidades, instituciones de investigación, organizaciones gubernamentales y fundaciones sin fines de lucro que se encuentran a la vanguardia de la tecnología, las aplicaciones y el control de la inteligencia artificial. Como parte de esta alianza, trabajamos para impulsar la creación de un entorno de inteligencia artificial verdaderamente abierto, más seguro, no solo para nuestros clientes, sino también para la comunidad open source en general.

Conclusión

La inteligencia artificial se encuentra en sus primeras etapas de desarrollo, y es fundamental que pensemos en su seguridad ahora, en lugar de intentar incorporarla en etapas posteriores. Red Hat cree que esta es un área del desarrollo de la inteligencia artificial en la que el open source y los sistemas abiertos pueden marcar una diferencia muy importante.

Obtenga más información sobre la inteligencia artificial de RHEL