News archive

The project is in an alpha stage
Hello to everyone,
I'm very happy for the incredible response to this project! While I initially shared this only on the Boinc.Italy forum, it's amazing to see how word has spread beyond.

I want to be transparent about where we are in the development process: we're currently in a very early alpha testing phase. During this time, I'm experimenting with different application configurations and tasks.
For those who've joined us already - please know that you're participating in the experimental stage where unexpected behavior and issues are completely normal. While I don't want to discourage anyone's participation, I should mention that the project will officially launch in 1-2 months. That's when we'll really need your full support (and more!)

Thank you for being part of this journey!
Best regards,
Matteo Rinaldi
8 Feb 2025, 14:28:22 UTC · Discuss

Benvenuti in LLMentorGrid - Fase di test
Ciao a tutti,
mi chiamo Matteo Rinaldi e sono un ricercatore presso l'Università di Torino.

Al momento sono l'unico amministratore del progetto, ma questa situazione è da ritenersi temporanea: il progetto interessa e non appena riuscirò ad ottenere dei risultati grazie al vostro aiuto coinvolgerò anche altri colleghi.

In questa prima fase di test gli obiettivi sono:

Far girare il modello "Geppetto" utilizzando la nota libreria "Transformers" di HuggingFace. Il primo batch di prova prevede l'interrogazione del modello con poco più di 127.000 frasi, tratti da opere di pubblico dominio reperite su LiberLiber. L'applicazione si limita ad interrogare il modello e salvare la risposta: i risultati non hanno alcun valore dal punto di vista scientifico, tuttavia si tratta di un passo essenziale per verificare la correttezza dell'idea e il funzionamento effettivo del server.

Il secondo obiettivo sarà provare a far girare un modello più grande, ad esempio Minerva nelle varie "taglie" 1B, 3B e 7B. In questa fase sperimenteremo anche l'uso delle GPU. Una volta verificate funzionalità e prestazioni dell'architettura con modelli più significativi, LLMentorGrid potrà cominciare ad essere utilizzato per esperimenti che prevedono l'inferenza ovvero l'interrogazione di un modello con dei prompt specifici al fine di creare dataset sintetici di vario genere. Ulteriori dettagli seguiranno dopo la conclusione della fase di test.

Parallelamente ai progetti di inferenza, conto di utilizzare LLMentorGrid per studi di interpretabilità. Proveremo a far girare tramite Boinc i framework TransformerLens e SAELens per eseguire esperimenti scientifici volti a studiare il funzionamento dei modelli.

IMPORTANTE LLMentorGrid utilizza il nuovo meccanismo "Buda" appena introdotto in Boinc che prevede l'utilizzo di Docker per l'esecuzione di contenitori nei quali l'applicativo possa trovare facilmente tutte le librerie di cui ha bisogno. A causa di questa scelta progettuale e considerato che Buda è al momento in beta test, sono richiesti agli utenti dei passaggi aggiuntivi per far girare l'applicativo:

1) Installare Docker. Questa procedura può variare a seconda della distribuzione di Linux che si usa, ad esempio su Ubuntu occorre utilizzare il comando

sudo apt-get install docker.io

mentre su Arch

sudo pacman -S docker

2) Eseguire il comando

sudo ln -s /usr/bin/docker /bin/unknown

. Questo serve per tutelarsi in caso il client di Boinc non riconosca l'installazione di docker e chiami quindi il comando unknown. Si tratta di una misura temporanea che dovrebbe essere corretta nelle prossime versioni di Boinc.

3) Fornire all'utente boinc i permessi per utilizzare docker

usermod -aG docker boinc

. Se ancora non funziona, usermod -aG docker username/code] sostituendo a username il proprio nome utente.

Usate il thread "Geppetto Test 001 - Segnalazioni e Commenti" nella sezione "Number Crunching" per ogni discussione tecnica in merito all'esecuzione dell'applicativo.

Buon divertimento e un immenso grazie!

Matteo
5 Feb 2025, 22:25:15 UTC · Discuss

News is available as an RSS feed RSS