Open Source-KI bei Red Hat: Unsere Zusammenarbeit mit der Kubeflow-Community

Red Hat ist schon seit vielen Jahren an KI- und Datenprojekten beteiligt. Viele dieser Projekte unterstützen zwar die Modernisierung, aber keines informiert über den gesamten Prozess, wie künstliche Intelligenz (KI) und maschinelles Lernen (ML) in die Produktion gebracht werden. Aus diesem Grund haben wir Open Data Hub ins Leben gerufen – eine Plattform zur Entwicklung und Unterstützung von Open Source-Projekten für Daten und KI/ML, darunter Kubeflow und  KServe.

Open Data Hub und Kubeflow

Open Data Hub begann mit einem einfachen Operator, der KI/ML- und Datensoftware auf Red Hat OpenShift Clustern mit einem gewissen Maß an Integration bereitstellt. Als wir beim Thema Supportfähigkeit auf Hindernisse stießen, wandten wir uns an Kubeflow, ein neues Projekt, das sich auf die Vereinfachung und Skalierung von ML-Workload-Deployments auf Kubernetes konzentriert. Wir schrieben Open Data Hub auf Kubeflow-Code um und konnten so eine neue Support-Matrix an Funktionen erstellen. Red Hat hat im letzten Jahr sein Engagement in der Kubeflow-Community verstärkt. Wir tragen jetzt nicht nur Code bei, sondern unterstützen die Community dabei, einen höheren Reifegrad und eine höhere Nutzerakzeptanz zu erreichen. Nachfolgend finden Sie einen Überblick über die Arbeit, die wir derzeit in der Kubeflow-Community leisten.

Release von Kubeflow 1.9

Nach seinem Beitritt zur Kubeflow-Community bot sich der Red Hat Senior Software Engineer Ricardo Martinelli an, als Release Manager an Kubeflow 1.9 zu arbeiten und zusammen mit anderen Kubeflow-Mitwirkenden eine Roadmap für das Release zu erstellen. Red Hat steuerte dabei gleich mehrere Funktionen zu Kubeflow 1.9 bei.

Modell-Registry

Die Modell-Registry, ein gefragtes Feature, wurde zu einem der wichtigsten Beiträge von Red Hat zu Kubeflow 1.9. Die Modell-Registry lässt sich in die Pipelines und Bereitstellungskomponenten von Kubeflow integrieren, um einen Katalog von Artefakten zu erstellen, darunter Modelle, Datensätze sowie Metriken, und Modelle aus dem Artefakt-Storage bereitzustellen. Weitere wichtige Funktionen der Modell-Registry umfassen das Deployment von Operatoren und Helm Charts, RBAC sowie Mandantenfähigkeit. Zur Unterstützung der neuen Modell-Registry-Funktion entwickelte die Kubeflow-Community eine neue Arbeitsgruppe.

Kubeflow Pipelines 2.0

Red Hat leistete außerdem Beiträge zu Kubeflow Pipelines 2.0 und ermöglichte in diesem Rahmen das Upgrade auf Argo Workflows 3.4. Außerdem arbeitete Red Hat mit an Problemen hinsichtlich der MinIO-Sicherheit und Lizenzierung und entwickelte Performance-Verbesserungen für die Argo- und Tekton-Implementierungen.

Notebooks 2.0

Mit dem Kubeflow 1.9-Release begann die Community auch mit ihren Plänen für Kubeflow Notebooks 2.0, die eine neue Reihe benutzerdefinierter Ressourcendefinitionen (Workspace und WorkspaceKind) mit sich bringen würden. Diese CRDs bieten Admins mehr Kontrolle über die Workspaces, einschließlich der Möglichkeit, eine vorhandene Notebook-Konfiguration zu aktualisieren. Die Arbeit begann mit der Designphase Anfang 2024, und die Arbeitsgruppe Notebooks treibt seitdem die Designarchitektur immer weiter voran. Die Red Hat Engineers Andriana Theodorakopoulou, Ramakrishna Pattnaik, Jiri Petrlik und Harshad Reddy Nalla entwickeln gerade die Designdokumentation und planen zukünftige Code-Beiträge.

KServe

KServe ist nach dem Abschluss von Kubeflow Incubation ein Standalone-Projekt. Die KServe-Community hat als Teil der Kubeflow-Serving-Arbeitsgruppe eng mit der Kubeflow-Community zusammengearbeitet, um KServe in Kubeflow zu integrieren und gleichzeitig die eigene schnell wachsende KServe-Community weiterzuentwickeln und innovative Funktionen voranzutreiben. Wir haben eng mit der Community zusammengearbeitet, um Initiativen in verschiedenen Bereichen zu leiten. Dabei ging es unter anderem darum, sofort einsatzbereite HuggingFace- und vLLM-Runtimes sowie pluginfähige Explainer-Runtimes hinzuzufügen, Verbesserungen und Fehlerbehebungen für den RawDeployment-Modus bereitzustellen, übergroße KServe-CRDs zu optimieren, Sicherheit zu nutzen und den Release-Prozesse zu verbessern. Edgar Hernandez Garcia, Jooho Lee, Filippe Spolti und Yuan Tang gehören zu den wichtigsten Mitwirkenden von Red Hat an KServe. Yuan Tang und Edgar Hernandez Garcia wurden kürzlich sogar zu Reviewern bei KServe.

Nächste Schritte bei Kubeflow

Red Hat und andere Community-Mitglieder arbeiten daran, Kubeflow zu einem von der Cloud Native Computing Foundation (CNCF) als „graduated“ zertifiziertes Projekt zu machen. Zu den Anforderungen für eine solche Qualifikation  gehört auch die Überprüfung der Kubeflow-Materialien, damit diese die CNCF-Anforderungen für den Status „graduated“ erfüllen. Dadurch wurde die Arbeit in anderen Bereichen erweitert, darunter Sicherheit und IP-Richtlinie.

Die Teams für Produktsicherheit und Open Source-Programme von Red Hat arbeiteten mit der Kubeflow-Community zusammen, um aufkommende Fragen zu Prozessen für Sicherheitslücken bei Kubeflow-Komponenten zu beantworten. Im Rahmen seiner Bemühungen, die Veröffentlichung von Kubeflow-Images mit nicht behandelten CVEs zu verhindern, empfiehlt Sean Pryor die Verwendung von Sicherheitsscannern und einen Workflow zur Behebung dieser Sicherheitsprobleme. Owen Whatkins vom Red Hat Product Security Team arbeitet an einer allgemeinen Anleitung für Maßnahmen beim Auftreten eines Sicherheitsproblems.

Auch im Bereich Governance leistet Red Hat einen Beitrag zu Kubeflow. Hier wurde Yuan Tang, Principal Software Engineer bei Red Hat, zum Mitglied des Kubeflow Managing Committee (KSC), des Kontrollorgans von Kubeflow auf „Root“-Ebene. Tang ist ein erfahrener Autor und Betreuer vieler beliebter Open Source-Projekte, darunter Argo und KServe. In den letzten 6 Jahren fungierte er zudem als Tech Lead für verschiedene Unterprojekte von Kubeflow. Mit seinen Beiträgen hat er in der Kubeflow-Community Vertrauen in seine technischen und Führungsqualitäten aufgebaut und dazu beigetragen, die Community-Themen voranzutreiben, die sich durch den CNCF-Zertifizierungsprozess von Kubeflow ergeben.

Red Hat war sich seit Beginn seiner Beiträge zum Kubeflow-Projekt bewusst, dass die Idee einer „zertifizierten Distribution“ ein wichtiges Thema sein würde. Mit der neuen Führungsgruppe und dem CNCF-Zertifizierungsprozess konnte Kubeflow den Plan, einen Konformitätstests für die Zertifizierung von Kubeflow-Distributionen zu entwickeln, erneut aufgreifen.

In Kubeflow steht noch einiges an Arbeit bevor, um die angestrebte CNCF-Zertifizierung zu erreichen, und Red Hat ist bestrebt, einen noch größeren Beitrag zu diesem Ziel zu leisten.

Kubeflow und Google Summer of Code

Im Rahmen unseres Engagements in der Kubeflow-Community und unserer Erfahrung in Open Source-Projekten haben wir im Namen der Kubeflow-Community ein Angebot für den Google Summer of Code erstellt. In Zusammenarbeit mit anderen Kubeflow-Mitwirkenden haben wir verschiedene Projekte zu Themen wie LLM-API-Entwicklung, GitHub-Probleme und PR-Triage, Dokumentationsaufgaben und mehr vorgeschlagen. Red Hat nimmt seit mehreren Jahren am Google Summer of Code teil, auch durch die Arbeit an unseren verschiedenen Middleware-Projekten. Dank dieser Erfahrung wurde unsere Teilnahme an der Veranstaltung mithilfe der Kubeflow-Community genehmigt. Wir freuen uns sehr, Studierende zu betreuen und ihnen zu zeigen, wie Open Source-Zusammenarbeit Innovationen fördert und die Ausbildung und Karriere mit praktischen Entwicklungserfahrungen bereichert.

Das Engagement von Red Hat in der Kubeflow-Community und die daraus entstandene Beziehung sind ein Beispiel dafür, wie Communities gemeinsam bessere Software entwickeln und bereitstellen können. Wir freuen uns auf viele weitere erfolgreiche Jahre und danken der Kubeflow-Community dafür, dass sie uns mit offenen Armen empfangen hat.