Fomento de la confianza: los fundamentos de la seguridad, la protección y la transparencia en la inteligencia artificial

Este blog es una adaptación de un artículo de investigación de Red Hat del mismo nombre (Bestavros, Chen, Fox, Mollett & Sidhpurwala, 2024). Puede acceder al documento completo aquí.

A medida que los modelos de inteligencia artificial (IA) disponibles al público evolucionan rápidamente, también lo hacen las posibles implicaciones de seguridad y protección, lo que requiere una mayor comprensión de sus riesgos y vulnerabilidades. Para desarrollar una base para la seguridad, la protección y la transparencia estandarizadas en el desarrollo y el funcionamiento de los modelos de inteligencia artificial, así como sus comunidades y ecosistemas abiertos, debemos cambiar la forma en que abordamos los desafíos actuales, como la información uniforme sobre los modelos, la falta de distinción entre los problemas de seguridad y las evaluaciones de protección deficientes y no estandarizadas disponibles y en uso por los creadores de modelos.

Riesgos y puntos vulnerables

Si bien son similares, la seguridad de la inteligencia artificial y la protección de esta misma son aspectos distintos de la gestión de riesgos en los sistemas de inteligencia artificial. La seguridad de la inteligencia artificial protege los sistemas de las amenazas externas e internas, mientras que la protección de la inteligencia artificial brinda la confianza de que el sistema y los datos no amenazan ni dañan a los usuarios, la sociedad o el medio ambiente debido a la operación, la capacitación o el uso del modelo. Sin embargo, la relación entre la seguridad y la protección de la inteligencia artificial suele ser borrosa.

Un ataque que normalmente se consideraría un problema de seguridad puede generar problemas de seguridad (o viceversa), como que el modelo produzca contenido tóxico o dañino o exponga información personal. La combinación de la seguridad y la protección de la inteligencia artificial pone de relieve la necesidad fundamental de contar con un enfoque integral para la gestión de los riesgos de la inteligencia artificial que aborde tanto los problemas de seguridad como los de protección.

Desafíos y tendencias actuales

Si bien el sector de la inteligencia artificial ha tomado medidas para abordar los problemas de seguridad, aún quedan varios desafíos importantes, como la prioridad de la velocidad sobre la protección, el control inadecuado y las prácticas deficientes de generación de informes. Las tendencias emergentes sugieren que centrarse en estas áreas de crecimiento es fundamental para desarrollar prácticas efectivas de seguridad, protección y transparencia en la inteligencia artificial.

Más velocidad que protección

Con el objetivo de desarrollar e implementar tecnologías de inteligencia artificial rápidamente para "asegurar" una mayor participación en el mercado, muchas empresas priorizan acelerar su comercialización por encima de las pruebas de protección y las consideraciones éticas. Como se vio en incidentes de seguridad anteriores, la seguridad suele estar años atrás de la tecnología incipiente, lo que generalmente lleva a un incidente importante antes de que la industria comience a corregirse a sí misma. Es razonable predecir que, en ausencia de personas que impulsen la gestión de riesgos en la inteligencia artificial, es posible que experimentemos un incidente de seguridad importante y crítico. Si bien se están introduciendo nuevos modelos teniendo en cuenta la seguridad y la protección, la falta de consenso sobre cómo transmitir la información necesaria sobre seguridad y transparencia dificulta su evaluación, aunque el aumento de modelos conscientes de la protección es un paso positivo para la industria de la inteligencia artificial.

Control y autorregulación

Con muy poca legislación gubernamental vigente, el sector de la inteligencia artificial ha dependido de la autorregulación voluntaria y de las pautas éticas no vinculantes, que han demostrado ser insuficientes para abordar los problemas de seguridad y protección. Además, la legislación propuesta a menudo no se alinea con las realidades de la industria tecnológica o las preocupaciones planteadas por los líderes y las comunidades de la industria, mientras que las iniciativas corporativas de inteligencia artificial pueden no abordar los problemas estructurales o proporcionar una responsabilidad significativa como resultado de haber sido desarrolladas especialmente para su propio uso. .

El autocontrol ha tenido un éxito limitado y tiende a implicar un conjunto definido de prácticas recomendadas implementadas independientemente del desarrollo de funciones principales. Como se ha visto históricamente en todas las industrias, priorizar la seguridad a expensas de la capacidad es a menudo una compensación que las partes interesadas no están dispuestas a hacer. La inteligencia artificial complica aún más este problema al ampliar este desafío para incluir impactos directos en la protección.

Prácticas deficientes en materia de informes

En la situación actual del sector, faltan métodos y prácticas comunes para gestionar los errores de los modelos informados por los usuarios. Esto se debe en parte al hecho de que el sistema de divulgación e informes de fallas de software de la industria, que es defectuoso pero funcional, no es una solución equivalente para realizar informes en la inteligencia artificial. La inteligencia artificial es una evolución técnica de la ciencia de datos y el machine learning (ML), que se diferencia de la ingeniería de software y el desarrollo tecnológico tradicionales debido a que se centra en los datos y las matemáticas y no tanto en la creación de sistemas para los usuarios que cuentan con metodologías establecidas para el modelado de amenazas, la interacción del usuario y el sistema de seguridad. Sin un sistema bien entendido de divulgación e informes sobre los riesgos de seguridad, reportar un problema directamente al creador del modelo puede ser engorroso y poco realista.Sin un proceso de notificación estandarizado y bien entendido, el impacto de un incidente de seguridad de la inteligencia artificial podría ser mucho más grave de lo que debería ser, debido a la demora en la coordinación y la resolución.

Soluciones y estrategias

Basándonos en gran medida en el trabajo anterior de Cattel, Ghosh & Kaffee (2024), creemos que la ampliación de las tarjetas de modelo/sistema y el seguimiento de los peligros son fundamentales para mejorar la seguridad en el sector de la inteligencia artificial.

Ampliación de las tarjetas modelo/de protección

Las tarjetas de modelo se usan para documentar el posible uso de un modelo de inteligencia artificial, así como su arquitectura y, ocasionalmente, los datos de entrenamiento usados para el modelo. Actualmente, las tarjetas modelo se utilizan para proporcionar un conjunto inicial de material generado por humanos sobre el modelo que luego se usa para evaluar su viabilidad, pero las tarjetas modelo podrían tener más potencial y aplicabilidad más allá de su uso actual, independientemente de dónde viajen o dónde estén implementados.

Para comparar modelos de manera efectiva, los adoptantes y los ingenieros necesitan un conjunto uniforme de campos y contenido presente en la tarjeta, lo que se puede lograr a través de la especificación. Además de los campos recomendados por Barnes, Gebru, Hutchinson, Mitchell, Raji, Spitzer, Vasserman, Wu & Zaldivar, 2019, proponemos los siguientes cambios y adiciones:

• Ampliar la intención y el uso para describir los usuarios (quién) y los casos de uso (qué) del modelo, así como la forma en que se utilizará el modelo.
• Agregar el alcance para excluir los problemas conocidos que el productor del modelo no pretende o no tiene la capacidad de resolver. Esto garantizará que los informantes de peligros comprendan el propósito del modelo antes de reportar un problema que se considera no abordable en relación con su uso definido.
• Ajustar los datos de evaluación para proporcionar una estructura anidada para transmitir si también se usó un marco y las salidas de la evaluación que se ejecutaron en el modelo. Las evaluaciones de seguridad estandarizadas permitirían que un usuario capacitado diseñe un modelo sostenible equivalente.
• Agregar información de control sobre el modelo para comprender cómo un adoptante o consumidor puede interactuar con los creadores del modelo o comprender cómo se produjo.
• Proporcionar referencias opcionales, como artefactos y otro contenido, para ayudar a los consumidores potenciales a comprender el funcionamiento del modelo y demostrar la madurez y la profesionalidad de un modelo determinado.

La solicitud de estos campos para las tarjetas modelo permite que el sector comience a establecer el contenido que es esencial para el razonamiento, la toma de decisiones y la reproducción de modelos. Al desarrollar un estándar del sector para las tarjetas modelo, podremos promover la interoperabilidad de los modelos y sus metadatos en todos los ecosistemas.

Seguimiento de los peligros

Si bien el proceso común de divulgación de vulnerabilidades que se usa para rastrear las fallas de seguridad es efectivo en la seguridad del software tradicional, su aplicación en los sistemas de inteligencia artificial enfrenta varios desafíos. Por un lado, los problemas del modelo de ML deben satisfacer los límites de validez estadística. Esto significa que cualquier problema identificado en un modelo de inteligencia artificial, como los sesgos, debe medirse y evaluarse en función de los estándares estadísticos establecidos para garantizar que sean significativos. En segundo lugar, las preocupaciones relacionadas con la confiabilidad y el sesgo a menudo se extienden más allá del alcance de las vulnerabilidades de seguridad y pueden no coincidir con la definición aceptada. Dado que reconocemos estas limitaciones, creemos que expandir el ecosistema con un comité centralizado, neutral y coordinado de exposición y divulgación de peligros y un número común de fallas y exposición (CFE) podría satisfacer estas preocupaciones. Esto es similar a cómo MITRE lanzó CVE en 1999 para identificar y clasificar los puntos vulnerables en el software y el firmware.

Se espera que los usuarios que descubran problemas de seguridad se coordinen con los proveedores de modelos para clasificar y analizar más a fondo el problema. Una vez que el problema se establece como un riesgo de protección, el comité asigna un número de CFE. Los fabricantes y distribuidores de modelos también pueden solicitar números de CFE para rastrear los riesgos de seguridad que encuentran en sus propios modelos. El comité coordinado de exposición y divulgación de peligros es el custodio de los números de CFE y es responsable de asignarlos a los peligros de protección, para rastrearlos y publicarlos. Además, la formación de un panel adjunto será responsable de facilitar la resolución de los riesgos de protección impugnados.

¿Qué sigue?

Los modelos desarrollados de acuerdo con los principios del open source tienen el potencial de desempeñar un papel importante en el futuro de la inteligencia artificial. Los marcos y las herramientas necesarios para desarrollar y gestionar modelos según las expectativas del sector y de los consumidores requieren transparencia y uniformidad para que las empresas evalúen los riesgos de manera razonable. Cuanto mayor sea la transparencia y el acceso a las funciones más importantes, mayor será nuestra capacidad para detectar, rastrear y resolver los riesgos de seguridad antes de que tengan un impacto generalizado. Nuestras propuestas pretenden ofrecer flexibilidad y uniformidad a través del control, los flujos de trabajo y la estructura actuales. Una vez implementadas, podrían proporcionar vías más eficientes para resolver la necesidad apremiante de gestionar de manera efectiva la protección de la inteligencia artificial.