L’IA prend de plus en plus de place et si certains (se) posent des questions notamment éthiques, je fais partie de ceux qui sont simplement happés par la nouveauté, la technologie et la simplicité apparente du phénomène (qui n’en est pas un).
J’avais déjà rédigé un article au sujet de Stable Diffusion, génératrice d’images, voici « Serge« , chat auto-hébergé, gratuit, basé sur LLaMa de Meta (Large Language Model Meta AI). Concurrent de Meta à ChatGPT d’OpenAI. L’outil avait été ouvert à des chercheurs afin d’en limiter la portée (utilisation abusive potentielle dénoncée par E. MUSK entre autres) mais tout à fuité via un .torrent. Ce qui fait de LLaMa le plus puissant outil de génération de texte par IA librement accessible à tous. ChatGPT étant sur abonnement et ayant toujours le contrôle des modèles.
On par ailleurs peut aussi trouver ChatGPT-4 d’OpenAI dans des projets gratuits comme GPT4All (sauf erreur) ou en partie gratuits puisque par exemple pour utiliser pleinement FuseAI il faudra alors payer l’accès OpenAI.
Bref, pour en revenir à Serge, ça s’installe en 2-2 via Docker :
docker run -d \ --name=serge \ --restart always \ -v /mnt/Data/docker/serge/weights:/usr/src/app/weights \ -v /mnt/Data/docker/serge/db:/data/db/ \ -p 3008:8008 \ --label=com.centurylinklabs.watchtower.enable=true \ ghcr.io/nsarrazin/serge:latest
Et il faut ensuite télécharger un ou des modèles pour l’utiliser, à savoir les 7B (Google pour son moteur de recherches), 13B et 30B.
Attention, ça demande une machine hôte avec de la RAM et du CPU suffisant pour que Serge puisse répondre à nos questions : la taille du modèle indiquée = taille en RAM lors de l’utilisation.
Je le fais tourner sur un serveur porté par un Ryzen 5 5600 et 32Gb de RAM.
J’ai installé/rédigé ça ce matin alors j’ai eu ni le temps ni l’inspiration pour faire de gros tests et vous exposer la puissance de Serge mais je compte sur vous pour vous amuser :)
On peut notamment penser à de l’aide au codage, de la synthèse de textes etc.
NB : merci le Discord de Superboki pour les idées.
Merci à toi pour l’article!
Bonjour, merci pour ce partage. Avoir un chatbot en local, comme vous le soulignez, en aide de camp. Je débute avec docker (docker desktop sur W11). Je l’ai installé après ton post mais je ne vois pas comment installer ce conteneur sur w11, saurais tu comment faire ? J’aimerais éviter plus que possible le passage à une VM linux. Et… Lire la suite »
Navré mais je ne sais pas utiliser Docker sur Windows. Mais si tu peux utiliser Linux dans un Terminal est-ce que tu ne peux pas lancer un docker de la même manière ? On dirait que c’est possible :
Faut juste que tu adaptes les chemins.
Si Superboki repasse dans le coin, je suis preneur d’une vidéo dessus. :)