Construindo confiança: fundamentos de segurança, proteção e transparência na IA

Este blog post é uma adaptação de um artigo de pesquisa da Red Hat de mesmo nome (Bestavros, Chen, Rapos, Mollett & Sidhpurwala, 2024). Acesse o artigo completo aqui.

À medida que os modelos de inteligência artificial (IA) disponíveis ao público evoluem rapidamente, o mesmo acontece com as possíveis implicações de segurança e proteção, exigindo uma maior compreensão dos riscos e vulnerabilidades. Para desenvolver a base para a padronização da segurança, proteção e transparência na criação e operação de modelos de IA, seus ecossistemas e comunidades, precisamos mudar nossa abordagem aos desafios atuais. Alguns desses desafios incluem a falta de informações consistentes sobre modelos e a ausência de distinção entre diferentes questões de segurança. Além disso, as avaliações de segurança disponíveis e utilizadas pelos criadores de modelos são frequentemente deficientes e não padronizadas.

Riscos e vulnerabilidades

Embora semelhantes, a segurança da IA e a proteção da IA são aspectos distintos no gerenciamento de riscos em sistemas de inteligência artificial. A segurança da IA protege os sistemas contra ameaças externas e internas, enquanto a proteção da IA garante de que o sistema e os dados não representem uma ameaça ou causem danos aos usuários, à sociedade ou o meio ambiente devido à operação, treinamento ou uso do modelo. No entanto, a relação entre segurança e proteção da IA muitas vezes não é clara.

Um ataque que normalmente seria considerado uma preocupação de segurança pode levar a problemas de proteção (ou vice-versa), como o modelo gerar conteúdo tóxico ou prejudicial ou expor informações pessoais. A interseção entre a segurança e a proteção da IA destaca a necessidade de uma abordagem abrangente de gerenciamento de risco de IA que atenda às preocupações de segurança e proteção simultaneamente.

Desafios e tendências atuais

Embora o setor de IA tenha tomado medidas para resolver problemas de segurança e proteção, vários desafios importantes permanecem, como a priorização da velocidade em detrimento da segurança, governança inadequada e práticas deficientes de geração de relatórios. As tendências emergentes sugerem que direcionar essas áreas de crescimento é crucial para o desenvolvimento de práticas eficazes de segurança e transparência na IA.

Velocidade acima da segurança

Visando desenvolver e implantar tecnologias de IA rapidamente para "garantir" uma maior participação no mercado, muitas organizações estão priorizando acelerar o ritmo para o mercado, em vez de testes de segurança e considerações éticas. Como visto em incidentes de segurança anteriores, a segurança geralmente está anos atrás da tecnologia nascente, o que normalmente leva à ocorrência de um incidente grave antes que o setor comece a se autocorrigir. É razoável prever que, na ausência de indivíduos que pressionam pelo gerenciamento de riscos na IA, podemos sofrer um incidente crítico e significativo de segurança. Embora novos modelos estejam sendo introduzidos com segurança e proteção em mente, a falta de consenso sobre como transmitir as informações necessárias de segurança e transparência dificulta a avaliação deles, embora o aumento de modelos preocupados com a segurança seja um passo positivo para o setor de IA.

Governança e autorregulação

Com muito pouca legislação governamental em vigor, o setor de IA depende da autorregulação voluntária e de diretrizes éticas não vinculativas, que se mostraram insuficientes para lidar com as preocupações de segurança. Além disso, a legislação proposta não se alinha à realidade do setor de tecnologia ou às preocupações expressas por líderes e comunidades do setor, enquanto as iniciativas corporativas de IA podem não resolver problemas estruturais ou fornecer responsabilidade significativa como resultado de serem desenvolvidas especialmente para uso próprio.

A autogovernança tem tido sucesso limitado e tende a envolver um conjunto definido de práticas recomendadas implementadas independentemente do desenvolvimento principal de recursos. Como visto no histórico em todos os setores, priorizar a segurança em detrimento da capacidade é, muitas vezes, uma escolha que os stakeholders não estão dispostos a fazer. A IA complica ainda mais isso, ampliando esse desafio para incluir impactos diretos na segurança.

Práticas de relatórios deficientes

Como o setor está atualmente, há uma falta de métodos e práticas comuns para lidar com falhas de modelos relatadas pelo usuário. Isso se deve em parte ao fato de que o sistema de divulgação e comunicação de vulnerabilidades de software, que é falho e funcional, não é uma solução completa para relatórios em inteligência artificial. A IA é uma evolução técnica da ciência de dados e Machine Learning (ML) - diferentemente da engenharia de software tradicional e do desenvolvimento de tecnologia - devido ao foco em dados e matemática e menos na criação de sistemas para usuários que estabeleceram metodologias de modelagem de ameaças, interação do usuário e segurança. Sem um sistema bem compreendido de divulgação e geração de relatórios sobre riscos de segurança, relatar um problema diretamente ao criador do modelo pode ser complicado e irreal. Sem um processo de geração de relatórios padronizado e bem compreendido, o impacto de um incidente de segurança por IA pode ser muito mais grave do que deveria, devido ao atraso na coordenação e resolução.

Soluções e estratégias

Baseando-nos fortemente no trabalho anterior de Cattel, Ghosh & Kaffee (2024), acreditamos que estender os cartões de modelo/sistema e o rastreamento de riscos são vitais para a melhoria da segurança no setor de IA.

Modelo de extensão/cartões de segurança

Os cartões de modelo são usados para documentar o possível uso de um modelo de IA, bem como sua arquitetura e, ocasionalmente, os dados de treinamento usados para o modelo. Os cartões de modelo são atualmente usados para fornecer um conjunto inicial de material gerado por humanos sobre o modelo que é usado para avaliar sua viabilidade, mas os cartões de modelo podem ter mais potencial e aplicabilidade além do uso atual, independentemente de onde eles viajem ou de onde estejam implantados.

Para comparar modelos com eficiência, os adotantes e engenheiros precisam de um conjunto consistente de campos e conteúdo presente no cartão, o que pode ser realizado por meio de especificação. Além dos campos recomendados por Barnes, Gebru, Hutchinson, Mitcher, Raji, Spitzer, Vasserman, Wu & Zaldivar, 2019, propomos as seguintes alterações e adições:

• Expansão de intenção e uso para descrever os usuários (quem) e os casos de uso (o que) do modelo, além de como o modelo deve ser usado.
• Adicione escopo para excluir problemas conhecidos que o produtor do modelo não pretende ou não tem a capacidade de resolver. Isso garantirá que os relatores de riscos entendam o propósito do modelo antes de relatar uma preocupação que seja apontada como não solucionável em relação ao uso definido.
• Ajustar os dados da avaliação para fornecer uma estrutura aninhada para informar se uma estrutura também foi usada e as saídas da avaliação executadas no modelo. Avaliações de segurança padronizadas permitiriam que um usuário habilidoso criasse um modelo equivalente de maneira sustentável.
• Adicione informações de governança sobre o modelo para entender como um adotante ou consumidor pode interagir com os criadores do modelo, ou entender como ele foi produzido.
• Forneça referências opcionais, como artefatos e outros conteúdos, para ajudar os possíveis consumidores a entender a operação do modelo e demonstrar a maturidade e o profissionalismo de um determinado modelo.

A exigência desses campos para cartões de modelos permite que o setor comece a estabelecer conteúdo essencial para o raciocínio, a tomada de decisões e a reprodução de modelos. Ao desenvolver um padrão do setor para modelos de cartões, seremos capazes de promover a interoperabilidade de modelos e seus metadados em diferentes ecossistemas.

Rastreamento de riscos

Embora o processo comum de divulgação de vulnerabilidades usado para rastrear falhas de segurança seja eficaz na segurança de software tradicional, sua aplicação em sistemas de IA enfrenta vários desafios. Por um lado, os problemas do modelo de ML devem atender aos limites de validade estatística. Isso significa que todas as questões ou problemas identificados em um modelo de IA, como tendências, devem ser medidos e avaliados em relação aos padrões estatísticos estabelecidos para garantir que sejam significativos e significativos. Em segundo lugar, as preocupações relacionadas à confiabilidade e ao viés geralmente vão além do escopo das vulnerabilidades de segurança e podem não estar alinhadas com a definição aceita. Reconhecendo essas limitações, acreditamos que expandir o ecossistema com um comitê centralizado e neutro de divulgação e exposição de riscos e um número de falhas e exposição comuns (CFE) poderia resolver essas preocupações. Isso é semelhante à forma como o CVE foi lançado em 1999 pela MITRE para identificar e categorizar vulnerabilidades em software e firmware.

Os usuários que descobrem problemas de segurança devem trabalhar em conjunto com os provedores do modelo para fazer a triagem e analisar melhor o problema. Quando o problema é estabelecido como um risco à segurança, o comitê atribui um número de CFE. Fabricantes e distribuidores de modelos também podem solicitar números de CFE para rastrear riscos de segurança encontrados em seus próprios modelos. O comitê coordenado de divulgação e exposição de riscos é o guardião dos números do CFE e é responsável por atribuí-los a riscos de segurança, rastreá-los e publicá-los. Além disso, a formação de um painel adjunto será responsável por facilitar a resolução de riscos de segurança contestados.

E depois?

Os modelos desenvolvidos de acordo com os princípios do open source têm o potencial de desempenhar um papel significativo no futuro da IA. Os frameworks e ferramentas necessários para desenvolver e gerenciar modelos conforme as expectativas do setor e dos clientes exigem transparência e consistência para as organizações poderem avaliar os riscos de maneira razoável. Com mais transparência e acesso a funcionalidades críticas, maior é a nossa capacidade de descobrir, rastrear e resolver riscos de segurança antes que eles tenham um impacto generalizado. Nossas propostas visam proporcionar flexibilidade e consistência por meio da governança, dos fluxos de trabalho e da estrutura existentes. Quando implementadas, elas oferecem caminhos mais eficientes para resolver a necessidade premente de gerenciar a segurança da IA com eficiência.