Vertrauen schaffen: Basis für Sicherheit, Schutz und Transparenz in der KI

Dieser Blog ist eine Adaption der gleichnamigen Forschungsarbeit von Red Hat (Bestavros, Chen, Vox, Molelett & Sidhpurwala, 2024). Sie können das vollständige Dokument hier aufrufen.

Mit der schnellen Entwicklung öffentlich verfügbarer KI-Modelle (Künstliche Intelligenz) entwickeln sich auch die potenziellen Auswirkungen auf Sicherheit und Schutz. Daher ist ein besseres Verständnis ihrer Risiken und Schwachstellen erforderlich. Um eine Basis für standardisierte Sicherheit, Sicherheit und Transparenz bei der Entwicklung und dem Betrieb von KI-Modellen sowie deren offenen Ökosystemen und Communities zu schaffen, müssen wir unsere Herangehensweise an aktuelle Herausforderungen überdenken. Dazu gehören konsistente Modellinformationen, mangelnde Unterscheidung zwischen Sicherheits- und Schutzproblemen und unzureichende und nicht standardisierten Sicherheitsevaluierungen, die Modellherstellern zur Verfügung stehen und von ihnen verwendet werden.

Risiken und Schwachstellen:

Obwohl sie sich ähneln, sind KI-Sicherheit und KI-Schutz unterschiedliche Aspekte des Risikomanagements in KI-Systemen. Die KI-Sicherheit schützt die Systeme vor externen und internen Bedrohungen, während der KI-Schutz sicherstellt, dass das System und die Daten weder Nutzer noch Gesellschaft oder Umwelt durch Betrieb, Training oder Nutzung des Modells gefährden oder schädigen. Das Verhältnis zwischen KI-Sicherheit und KI-Schutz ist jedoch oft nicht eindeutig abgegrenzt.

Ein Angriff, der normalerweise als Sicherheitsproblem eingestuft wird, kann auch Risiken verursachen (oder umgekehrt). Zum Beispiel, wenn das Modell toxische oder schädigende Inhalte produziert oder persönliche Daten offenlegt. Die Schnittstelle zwischen KI-Sicherheit und -Schutz unterstreicht die Notwendigkeit eines umfassenden Ansatzes für das KI-Risikomanagement, der sowohl Bedenken hinsichtlich Sicherheit und Schutz gleichermaßen berücksichtigt.

Aktuelle Herausforderungen und Trends

Die KI-Branche hat zwar Fortschritte bei der Klärung von Sicherheitsfragen gemacht, einige zentrale Herausforderungen bleiben jedoch bestehen  – darunter die Priorisierung von Geschwindigkeit über Sicherheit, unzureichende Governance und defizitäre Berichterstellungspraktiken. Neue Trends deuten darauf hin, dass die Fokussierung auf diese Wachstumsbereiche für die Entwicklung effektiver Sicherheit und transparenter Praktiken in der KI von entscheidender Bedeutung ist.

Geschwindigkeit vor Sicherheit

In dem Bestreben, KI-Technologien schnell zu entwickeln und bereitzustellen, um sich einen größeren Marktanteil zu "sichern", priorisieren viele Unternehmen eine Beschleunigung der Markteinführung gegenüber Sicherheitstests und ethischen Überlegungen. Wie aus vergangenen Sicherheitsvorfällen hervorgeht, hinkt die Sicherheit den aufkommenden Technologien oft Jahre hinterher. Dies führt üblicherweise zu einem größeren Vorfall, bevor die Branche mit der Selbstreparatur beginnt. Es ist davon auszugehen, dass es zu einem bedeutenden und kritischen Sicherheitsvorfall kommen kann, wenn es keine Personen gibt, die sich für das Risikomanagement in der KI einsetzen. Neue Modelle werden zwar unter Berücksichtigung von Sicherheit und Schutz eingeführt, aber der fehlende Konsens darüber, wie die erforderlichen Sicherheits- und Transparenzinformationen übermittelt werden sollen, erschwert ihre Bewertung. Obwohl die Zunahme sicherheitsbewusster Modelle ein positiver Schritt vorwärts für die KI-Branche ist.

Governance und Selbstverwaltung

Da es nur sehr wenige staatliche Vorschriften gibt, hat sich die KI-Branche auf freiwillige Selbstkontrolle und unverbindliche ethische Richtlinien verlassen, die Sicherheitsbedenken allerdings nur unzureichend ausräumen. Darüber hinaus stehen Gesetzesvorschläge oft nicht im Einklang mit der Realität der Technologiebranche oder den Bedenken, die von Branchenführern und Communities geäußert wurden. KI-Initiativen von Unternehmen gehen oft nicht mit strukturellen Problemen um oder bieten keine sinnvolle Rechenschaftspflicht, weil sie speziell für den eigenen Gebrauch entwickelt werden.

Selbstverwaltung war nur begrenzt erfolgreich und beinhaltet in der Regel eine Reihe von definierten Best Practices, die unabhängig von der Entwicklung der primären Funktionen implementiert werden. Wie in der Vergangenheit in vielen Branchen gezeigt wurde, ist die Priorisierung der Sicherheit auf Kosten der Leistungsfähigkeit oft ein Kompromiss, den Stakeholder nicht eingehen möchten. KI verschärft diese Herausforderung noch weiter, da sie direkte Auswirkungen auf die Sicherheit haben kann.

Mangelnde Berichtsverfahren

Beim derzeitigen Stand der Branche mangelt es an gemeinsamen Methoden und Praktiken im Umgang mit von Nutzenden gemeldeten Modellfehlern. Dies liegt teilweise daran, dass das fehlerhafte, aber funktionierende Offenlegungs- und Meldesystem der Branche für Softwareschwachstellen keine gleichwertige Lösung für die Meldung von KI-bezogenen Daten darstellt. KI ist eine technische Weiterentwicklung von Data Science und Machine Learning (ML). Sie unterscheidet sich vom traditionellen Software-Engineering und der Technologieentwicklung, da der Fokus auf Daten und Mathematik liegt und weniger auf die Entwicklung von Systemen für Nutzende, die über etablierte Methoden für Bedrohungsmodellierung, Benutzerinteraktion und Systemsicherheit verfügen. Ohne ein gut durchdachtes System zur Offenlegung und Meldung von Sicherheitsrisiken kann es umständlich und unrealistisch sein, ein Problem direkt an den Modellhersteller zu melden. Ohne einen gut verstandenen, standardisierten Meldeprozess könnten die Auswirkungen eines KI-Sicherheitsvorfalls aufgrund der verzögerten Koordination und Lösung möglicherweise weitaus schwerwiegender sein, als sie sein sollten.

Lösungen und Strategien

In Anlehnung an frühere Arbeiten von Cattel, Ghosh & Kaffee (2024) sind wir der Ansicht, dass die Erweiterung von Modell-/Systemkarten und Gefahrenverfolgung für die Verbesserung von Sicherheit und Schutz in der KI-Branche von entscheidender Bedeutung sind.

Erweiterung von Modell-/Sicherheitskarten

Modellkarten werden verwendet, um die mögliche Verwendung eines KI-Modells sowie seine Architektur und gelegentlich die für das Modell verwendeten Trainingsdaten zu dokumentieren. Modellkarten werden derzeit verwendet, um eine erste, von Menschen erstellte Dokumentation über das Modell bereitzustellen, die dann zur Bewertung seiner Lebensdauer dient. Modellkarten könnten jedoch über ihre aktuelle Nutzung hinaus noch mehr Potenzial und Einsatzmöglichkeiten bieten – unabhängig davon, wo sie eingesetzt oder bereitgestellt werden.

Für einen effektiven Vergleich von Modellen benötigen Nutzende und Engineers einen konsistenten Satz von Feldern und Inhalten auf der Karte. Dies kann durch Spezifikation erreicht werden. Zusätzlich zu den von Barnes, Gebru, Hutchinson, MITchell, Raji, Spitzer, Wasserman, Wu & Zaldivar, 2019 empfohlenen Feldern schlagen wir folgende Änderungen und Ergänzungen vor:

• Erweiterung von Intent und Use, um die Nutzenden (Wer) und Use Cases (Was) des Modells sowie die Art und Weise der Nutzung des Modells zu beschreiben.
• Fügen Sie einen Geltungsbereich hinzu, um bekannte Probleme auszuschließen, die der Modell-Ersteller nicht lösen möchte oder kann. Dadurch wird sichergestellt, dass die Beschäftigten in der Risikobewertung den Zweck des Modells verstehen, bevor sie ein Problem melden, das im Rahmen der definierten Verwendung nicht angegangen werden kann.
• Passen Sie die Auswertungsdaten an, um eine verschachtelte Struktur bereitzustellen, die zeigt, ob auch ein Framework verwendet wurde und welche Ergebnisse die Bewertung mit dem Modell erzielt hat. Standardisierte Sicherheitsbewertungen würden es einem erfahrenen Nutzer ermöglichen, ein nachhaltig gleichwertiges Modell zu entwickeln.
• Fügen Sie Governance-Informationen zum Modell hinzu, um zu verstehen, wie ein Anwender oder Nutzer mit den Modellentwicklern interagieren kann oder wie es entwickelt wurde.
• Geben Sie optionale Referenzen wie Artefakte und andere Inhalte an, um potenziellen Kunden das Verständnis der Funktionsweise des Modells zu erleichtern und die Ausgereiftheit und Professionalität eines bestimmten Modells zu demonstrieren.

Die Forderung nach diesen Felder für Modellkarten ermöglicht es der Branche, Inhalte zu erstellen, die für Argumentation, Entscheidungsfindung und Reproduzierung von Modellen unerlässlich sind. Durch die Entwicklung eines Branchenstandards für Modellkarten werden wir in der Lage sein, die Interoperabilität von Modellen und ihren Metadaten in verschiedenen IT-Ökosystemen zu fördern.

Gefahrenverfolgung

Während der herkömmliche Prozess zur Offenlegung von Schwachstellen zur Verfolgung von Sicherheitslücken bei der herkömmlichen Softwaresicherheit effektiv ist, ist seine Anwendung in KI-Systemen mit mehreren Herausforderungen verbunden. Zum einen müssen Probleme mit dem ML-Modell statistische Gültigkeitsschwellenwerte erfüllen. Das bedeutet, dass die in einem KI-Modell identifizierten Probleme, wie etwa Verzerrungen, anhand etablierter statistischer Standards gemessen und bewertet werden müssen, um sicherzustellen, dass sie aussagekräftig und signifikant sind. Zweitens gehen Bedenken hinsichtlich Vertrauenswürdigkeit und Voreingenommenheit oft über den Umfang von Sicherheitsschwachstellen hinaus und stimmen möglicherweise nicht mit der akzeptierten Definition überein. In Anbetracht dieser Einschränkungen sind wir der Meinung, dass die Erweiterung des Partnernetzwerks durch ein zentralisiertes, neutral koordiniertes Gremium für die Offenlegung von Risiken und Exposition sowie eine CFE-Nummer (Common Fails and Exposure) diese Bedenken ausräumen könnte. Dies ähnelt der CVE, die 1999 von MITRE ins Leben gerufen wurde, um Schwachstellen in Software und Firmware zu identifizieren und zu kategorisieren.

Von Nutzern, die Sicherheitsprobleme entdecken, wird erwartet, dass sie sich mit den Modellanbietern abstimmen, um das Problem zu ermitteln und weiter zu analysieren. Sobald das Problem als Sicherheitsrisiko festgestellt wurde, weist das Gremium eine CFE-Nummer zu. Modellhersteller und Vertriebspartner können darüber hinaus CFE-Nummern anfordern, um Sicherheitsrisiken nachzuverfolgen, die sie in ihren eigenen Modellen finden. Das CFE-Komitee verwaltet die CFE-Nummern und ist dafür verantwortlich, diese den Sicherheitsrisiken zuzuordnen, sie nachzuverfolgen und zu veröffentlichen. Darüber hinaus wird ein zusätzliches Gremium gebildet, das die Lösung strittiger Sicherheitsrisiken erleichtern soll.

Wie geht es weiter?

Modelle, die nach Open Source-Prinzipien entwickelt wurden, haben das Potenzial, für die Zukunft der KI eine bedeutende Rolle zu spielen. Frameworks und Tools, die für die Entwicklung und Verwaltung von Modellen, die den Erwartungen von Branchen und Verbrauchern entsprechen, erforderlich sind, erfordern Offenheit und Konsistenz, damit Organisationen Risiken angemessen bewerten können. Je mehr Transparenz und Zugriff auf kritische Funktionen, desto besser können wir Sicherheitsrisiken erkennen, nachverfolgen und beheben, bevor sie weitreichende Auswirkungen haben. Unsere Vorschläge sollen durch bestehende Governance, Workflows und Strukturen Flexibilität und Konsistenz bieten. Wenn sie implementiert werden, könnten sie effizientere Wege zur Bewältigung der dringenden Notwendigkeit eines wirksamen Management der KI-Sicherheit bieten.