L’uso dell’intelligenza artificiale è sempre più diffuso per risolvere problemi complessi e creare nuove opportunità. Tuttavia, l’accesso ai modelli generativi e alle relative API richiede una connessione Internet e l’elaborazione su server remoti, causando preoccupazioni sulla disponibilità del servizio, le prestazioni e la privacy. Ecco perché è stata sviluppata LocalAI, una soluzione completamente utilizzabile offline, senza la necessità di una connessione di rete attiva.

LocalAI, un progetto italiano creato da Ettore Di Giacinto, che è stato rilasciato pubblicamente su GitHub come un’iniziativa community-driven, è un’alternativa a OpenAI, completamente compatibile con il software sviluppato utilizzando l’SDK di OpenAI. Utilizzando LocalAI in locale, è possibile evitare i costi di abbonamento di OpenAI e beneficiare di una piattaforma flessibile che include e supporta i principali modelli disponibili fino ad oggi, anche su hardware consumer.

Cos’è LocalAI e come è stato sviluppato il progetto

LocalAI è un’API scritta in Go che funge anche da interfaccia di connessione per i software sviluppati con l’SDK di OpenAI. Inizialmente, LocalAI è nato come un “progetto del fine settimana” con l’obiettivo di creare i componenti necessari per un assistente AI completo simile a ChatGPT. Il progetto si è poi ampliato, offrendo ora una serie di funzionalità, tra cui la generazione di testo, l’elaborazione audio e visiva.

LocalAI offre diverse funzionalità che consentono di utilizzare i modelli di intelligenza artificiale direttamente sulla propria macchina, senza la necessità di una connessione Internet. Queste funzionalità includono:

• Generazione di testo: supporta la generazione di testo utilizzando modelli come llama.cpp e gpt4all.cpp, consentendo di creare testi coerenti e pertinenti con abilità conversazionali.
• Conversione di testo in audio e viceversa: è possibile trasformare il testo in audio e viceversa, consentendo applicazioni come la sintesi vocale e la trascrizione audio.
• Generazione di immagini: il sistema di generazione di immagini utilizza Stable Diffusion per creare immagini artistiche e creative.
• Funzioni OpenAI: LocalAI è compatibile con le principali funzioni di OpenAI, come gli embedding vettoriali e le grammatiche vincolate.

I modelli vengono caricati da LocalAI per garantire un’inferenza rapida. Il progetto comprende modelli come llama.cpp, gpt4all, rwkv.cpp, ggml, whisper.cpp per la trascrizione audio, bert.cpp per l’embedding e StableDiffusion-NCN per la generazione di immagini. La tabella dei modelli compatibili mostra le capacità di LocalAI.

Come installare LocalAI in locale

L’installazione di LocalAI è relativamente semplice e può essere eseguita anche su macchine senza una potente GPU. Il requisito principale è avere Go installato sul proprio sistema.

Digitando “go version” è possibile verificare se Go è già installato. Sul sito ufficiale di Go sono disponibili tutte le versioni per diverse piattaforme e sistemi operativi.

Successivamente, è possibile clonare il repository di LocalAI utilizzando il comando “git clone”: [URL del repository]

Una volta nella cartella del repository clonato, è possibile compilare il progetto con il comando “go build”. La configurazione delle opzioni e dei modelli richiede la modifica del file “config.yml”.

Infine, il comando “./LocalAI” può essere eseguito per avviare l’API di LocalAI.

LocalAI è rilasciato con licenza MIT e si propone di essere una risorsa accessibile a chiunque voglia utilizzare l’intelligenza artificiale in modo locale e privato. Coloro che utilizzano LocalAI saranno lieti di scoprire di poter utilizzare in locale il modello Llama-2-7b e ottenere risultati e prestazioni simili a quelli offerti da GPT-3.5 di OpenAI.

Llama-2-7b è un modello di linguaggio sviluppato da Meta, l’azienda madre di Facebook, Instagram e WhatsApp. Llama-2 è open-source ed è disponibile per uso accademico e commerciale. È costituito da modelli di linguaggio conversazionale pre-addestrati con un numero di parametri compresi tra 7 e 70 miliardi (“7b” sta per 7 miliardi di parametri).

I modelli sono stati addestrati su un volume di dati superiore del 40% rispetto a Llama-1, aprendo nuove possibilità nel campo dei modelli generativi e dell’intelligenza artificiale.

Grazie al lavoro degli sviluppatori e all’attiva partecipazione della comunità, LocalAI continua a crescere e migliorare, aprendo nuove opportunità per l’implementazione di funzionalità di intelligenza artificiale in diversi campi applicativi.