Fine tuning scalabile ed efficiente degli LLM

Quando si tratta di gestire scenari di utilizzo dell'IA generici, le capacità predefinite di comprensione delle relazioni e degli schemi nei dataset offerte dai modelli linguistici di grandi dimensioni (LLM) per utilizzo generico sono spesso più che sufficienti. Il discorso cambia quando si vuole ottenere un vantaggio competitivo. In questo caso occorre fare un passo in più e trovare il modo di applicare le proprie conoscenze specifiche del settore. Solo con un processo di personalizzazione basato su tassonomia, competenze e conoscenze specifiche, il modello LLM sarà in grado di produrre risultati rilevanti per l'azienda.

La chiave per ottenere un vantaggio competitivo è quindi la personalizzazione. Ma come si fa ad adattare un LLM per utilizzo generico a specifici scenari di utilizzo, domini, linguaggi, input del cliente, ecc.? E soprattutto come si fa a farlo limitando i costi? L'ideale sarebbe un approccio graduale che permetta di iniziare in piccolo per poi evolversi rapidamente e fornire valore continuo al business.

Esistono diversi approcci all'ottimizzazione, come fine tuning dei prompt e retrieval augmented generation (RAG). Per superare i limiti di queste tecniche però è necessario analizzare nel dettaglio il processo di fine tuning, ovvero il processo di ottimizzazione di un modello pre-addestrato su un dataset o un'attività specifica al fine di migliorarne le prestazioni in quel determinato campo.

Pratiche come il fine tuning e l'affinamento degli LLM pongono diverse sfide. Ad esempio:

• Eseguire il fine tuning di un LLM perché apprenda competenze e conoscenze specifiche è un processo costoso e richiede notevoli risorse.
• Per l'affinamento degli LLM occorrono grandi quantità di dati generati dall'uomo, il che comporta un investimento importante in termini di tempo e di denaro. È necessario inoltre garantire la privacy e sicurezza di tali dati.
• I costi per l'assunzione di data scientist e soprattutto la carenza di questa figura professionale stanno mettendo in difficoltà le aziende.

I vantaggi di Red Hat AI

Red Hat AI aiuta le aziende ad accelerare l'adozione dell'IA grazie a modelli ridotti progettati per scenari di utilizzo specifici, tecniche di personalizzazione efficienti e la possibilità di sviluppare e distribuire le soluzioni in qualsiasi ambiente. Red Hat AI è un'offerta completa che include Red Hat Enterprise Linux AI (RHEL AI), Red Hat OpenShift AI, acceleratori e servizi mirati.

RHEL AI permette di sviluppare, testare ed eseguire i modelli fondativi per l'IA generativa (IA gen) e include una versione di InstructLab, un progetto sviluppato dalla community e volto a semplificare l'utilizzo degli LLM Granite di IBM.

Cos'è InstructLab?

InstructLab (LAB) è un progetto basato sull'attività di ricerca che IBM Research sta conducendo in merito all'allineamento su larga scala dei chatbot. Il metodo LAB si compone di tre fasi:

• Selezione dei dati: si tratta di un approccio collaborativo pensato per gli esperti di settore che non hanno esperienza con la data science. Con il metodo LAB tutti possono contribuire fornendo la tassonomia, le competenze e le conoscenze specifiche del proprio settore senza dover essere data scientist.
• Generazione di dati artificiali su larga scala: si utilizza un modello per generare nuovi esempi basati sui dati selezionati in precedenza. L'utilizzo di dati sintetici è un'ottima soluzione per adattare un modello e ampliare la suo conoscenza in un determinato ambito. Inoltre, questi dati sono una risorsa preziosa e il fatto che vengano generati in automatico aiuta a limitare i costi, aumenta la sicurezza e riduce il rischio di includere informazioni personali.
• Ottimizzazione iterativa e su larga scala: a questo punto il modello viene riaddestrato utilizzando i dati artificiali appena generati. Il metodo LAB prevede due ulteriori passaggi di ottimizzazione: quella delle conoscenze e quella delle competenze.

Con il metodo LAB il modello mantiene la capacità generativa e la precisione originarie e acquisisce nuove competenze.

Procedi in modo graduale

Per applicare il metodo LAB in ambienti enterprise, affidati a Red Hat OpenShift AI. Questa piattaforma di IA open source agevola la gestione del ciclo di vita dei modelli di IA e delle applicazioni basate su IA. Offre servizi mirati per semplificare lo sviluppo dei modelli e automatizzare processi legati all'IA, come pipeline delle funzionalità, addestramento e ottimizzazione dei modelli. Include inoltre servizi pronti all'uso per il monitoraggio degli esperimenti, il controllo delle versioni dei modelli e il monitoraggio generale. OpenShift AI integra alcuni dei progetti open source più famosi. Ad esempio per supportare il metodo LAB utilizza:

• Pipeline di data science (DSP): un servizio basato su Kubeflow Pipelines per la creazione e il deployment di flussi di lavoro di IA con portabilità e scalabilità elevate.
• Kubeflow Training Operator (KFTO): un operatore studiato per agevolare il fine tuning e l'addestramento di modelli distribuiti e scalabili.

Grazie a DSP e KFTO, Red Hat è riuscita ad automatizzare il metodo LAB e ha reso l'intero processo scalabile, efficiente e verificabile. 

Le DSP permettono di configurare il processo di fine tuning LAB utilizzando un grafo aciclico diretto (DAG) e ottenere così una rappresentazione visiva del processo. Le diverse fasi e lo stato di avanzamento del processo sono rappresentati in modo semplice e comprensibile per tutte le parti interessate. Gli ingegneri dell'IA possono anche monitorare l'andamento del processo dalla dashboard di OpenShift AI e visualizzare i diversi output, comprese le metriche e il modello ottimizzato. Questi vengono sottoposti a controllo delle versioni e monitorati automaticamente, in modo che gli ingegneri dell'IA e i data scientist possano confrontare i cambiamenti nelle prestazioni del modello mentre reiterano e modificano i parametri e le risorse. 

Grazie all'integrazione fra KFTO e DSP, i data scientist e i team MLOps possono sfruttare le capacità del cluster OpenShift esistente per ridurre i costi e aumentare la scalabilità. A seconda del budget a disposizione, le organizzazioni possono configurare la quantità di risorse e il numero di nodi di lavoro OpenShift abilitati per la fase di addestramento. L'operatore KFTO si occupa di gestire la scalabilità e ottimizza l'utilizzo delle risorse. OpenShift AI favorisce il lavoro sinergico di esperti di settore, data scientist e ingegneri dell'IA grazie a un'interfaccia utente su misura per i diversi professionisti.

Scopri i vantaggi delle pipeline di data science (DSP) su OpenShift e scopri come muovere i primi passi per ottenere processi di fine tuning scalabili leggendo l'articolo Come eseguire il fine tuning degli LLM con Kubeflow Training Operator sul blog Red Hat Developer.