Ciao a tutti,
mi chiamo Matteo Rinaldi e sono un ricercatore presso l'Università di Torino.

Al momento sono l'unico amministratore del progetto, ma questa situazione è da ritenersi temporanea: il progetto interessa e non appena riuscirò ad ottenere dei risultati grazie al vostro aiuto coinvolgerò anche altri colleghi.

In questa prima fase di test gli obiettivi sono:

Far girare il modello "Geppetto" utilizzando la nota libreria "Transformers" di HuggingFace. Il primo batch di prova prevede l'interrogazione del modello con poco più di 127.000 frasi, tratti da opere di pubblico dominio reperite su LiberLiber. L'applicazione si limita ad interrogare il modello e salvare la risposta: i risultati non hanno alcun valore dal punto di vista scientifico, tuttavia si tratta di un passo essenziale per verificare la correttezza dell'idea e il funzionamento effettivo del server.

Il secondo obiettivo sarà provare a far girare un modello più grande, ad esempio Minerva nelle varie "taglie" 1B, 3B e 7B. In questa fase sperimenteremo anche l'uso delle GPU. Una volta verificate funzionalità e prestazioni dell'architettura con modelli più significativi, LLMentorGrid potrà cominciare ad essere utilizzato per esperimenti che prevedono l'inferenza ovvero l'interrogazione di un modello con dei prompt specifici al fine di creare dataset sintetici di vario genere. Ulteriori dettagli seguiranno dopo la conclusione della fase di test.

Parallelamente ai progetti di inferenza, conto di utilizzare LLMentorGrid per studi di interpretabilità. Proveremo a far girare tramite Boinc i framework TransformerLens e SAELens per eseguire esperimenti scientifici volti a studiare il funzionamento dei modelli.


IMPORTANTE LLMentorGrid utilizza il nuovo meccanismo "Buda" appena introdotto in Boinc che prevede l'utilizzo di Docker per l'esecuzione di contenitori nei quali l'applicativo possa trovare facilmente tutte le librerie di cui ha bisogno. A causa di questa scelta progettuale e considerato che Buda è al momento in beta test, sono richiesti agli utenti dei passaggi aggiuntivi per far girare l'applicativo:

1) Installare Docker. Questa procedura può variare a seconda della distribuzione di Linux che si usa, ad esempio su Ubuntu occorre utilizzare il comando

sudo apt-get install docker.io

mentre su Arch

sudo pacman -S docker

2) Eseguire il comando

sudo ln -s /usr/bin/docker /bin/unknown

. Questo serve per tutelarsi in caso il client di Boinc non riconosca l'installazione di docker e chiami quindi il comando unknown. Si tratta di una misura temporanea che dovrebbe essere corretta nelle prossime versioni di Boinc.

3) Fornire all'utente boinc i permessi per utilizzare docker

usermod -aG docker boinc

. Se ancora non funziona, usermod -aG docker username/code] sostituendo a username il proprio nome utente.

Usate il thread "Geppetto Test 001 - Segnalazioni e Commenti" nella sezione "Number Crunching" per ogni discussione tecnica in merito all'esecuzione dell'applicativo.

Buon divertimento e un immenso grazie!

Matteo

Even after installing docker and running the subsequent command, all tasks are resulting in error. I will reboot to see if this makes any difference. Ubuntu 24.10 boinc8.1.0

Hi Dave, I checked your computer and your problem is related to the lack of permissions from the user boinc to use docker.
I just looked at two samples error report from each machine that joined this alpha and I saw that this "permission" problem is definitely the most popular:
It affected you, Anandbath and Corla99

To solve it, you can use the command provided by Sabayonino:

usermod -aG docker boinc

Now I am going to put this on the frontpage

Another common problem is the GLIBC version: it is related to having a Linux distribution with an old GLIBC library, by now it only affected "Spot T"'s computer but I suspect this might become an issue when the project will scale up, so I am going to recompile the docker-wrapper so that it can run even on older GLIBC

Thanks for this testing, it was very precious!
I am going to send another batch of workunits in minutes.

To solve it, you can use the command provided by Sabayonino:


usermod -aG docker boinc

Thank you. I have only just noticed around 50 tasks now completed.