Depuis l’apparition de ChatGPT, de nombreux outils ont vu le jour dont le respect de la vie privée des utilisateurs est douteux. Heureusement, plusieurs projets open source semblent remédier à ce problème. Ollama AI est un outil pour utiliser l'intelligence artificielle dans le terminal
L'application va vous permet d'utiliser une liste de LLM sur votre terminal informatique ou votre périphérique monocarte tant que votre matériel est suffisamment puissant. La bonne nouvelle est que leur bibliothèque propose des options pour toutes les tailles.
Les LLM (Large Scale Language Models) sont utilisés pour comprendre la génération et la traduction du langage à un niveau proche du langage naturel. Ils sont formés avec d’énormes quantités de données textuelles. Ces modèles peuvent être utilisés pour une grande variété de tâches liées au langage, telles que répondre à des questions, résumer un texte, traduire dans d'autres langues, produire un contenu cohérent et créatif, terminer des phrases et trouver des modèles linguistiques.
L'expression « à grande échelle » fait référence à la fois à l'énorme quantité de données (en milliards) et aux paramètres que le modèle utilise pour établir des relations et trouver des modèles entre les données.
Les paramètres sont un facteur à prendre en compte. Bien que certains déclarent avoir utilisé Ollama AI sur un Raspberry Pi 4, tous les modèles ne peuvent pas être utilisés si vous ne disposez pas de suffisamment de mémoire. J'ai utilisé des modèles avec 7 milliards de paramètres avec 6 Go de RAM et sans carte graphique sans affecter à peine les performances du système, mais il ne pouvait pas en gérer un avec 13.
Les modèles avec moins de paramètres parlent espagnol au niveau de la parodie touristique Yankee et ne sont pas très précis dans leurs réponses, vous devez donc être prudent lorsque vous les utilisez.
Ollama AI : utiliser l'intelligence artificielle dans le terminal
Avant de continuer, commençons par une brève explication. LlaMa est un algorithme d'apprentissage automatique qui permet à une Intelligence Artificielle d'apprendre à reconnaître et classer des images d'objets.
À ce type de modèles Ils sont formés avec des images étiquetées afin d'apprendre à reconnaître des caractéristiques spécifiques telles que la texture, la forme et la couleur qui leur permettent d'être identifiées dans d'autres contextes.
Étant donné que le nom de l'algorithme se prononce de la même manière que le nom de l'animal, certaines bibliothèques portent le nom d'espèces similaires telles que la vigogne (Vigogne dans les langues qui n'utilisent pas le ñ) ou l'alpaga.
Pour en revenir à Ollama AI, Il nous permet de télécharger et d'exécuter différents modèles open source depuis le terminal de notre distribution Linux. Il s'installe avec la commande :
curl https://ollama.ai/install.sh | sh
Pour lancer un modèle on écrit la commande :
ollama run nombre_del_modelo
On peut voir la liste des modèles ici
Par exemple, pour installer TinyLlaama, un modèle avec un peu plus d'un téraoctet de paramètres, on utilise la commande :
ollama run tinyllama
La première fois que cette commande est exécutée, le modèle est téléchargé sur l'ordinateur. Attention, certains occupent plusieurs gigaoctets d’espace disque.
Vous pouvez supprimer un modèle avec la commande :
ollama rm nombre_del modelo
Pour voir la liste des modèles installés utilisez la commande :
liste d'ollama
Vous pouvez voir les informations sur chacun des modèles installés avec :
ollama show
Une option intéressante de la bibliothèque de modèles Ollama sont les modèles dits « non censurés ».. Les modèles d’intelligence artificielle les plus connus imposent des restrictions sur certains types de questions pour se conformer non seulement à la loi mais aussi aux pressions sociales du politiquement correct.
Je me souviens qu'il y a longtemps, j'avais demandé à Copilot, l'assistant ChatGPT de Microsoft, de me raconter des blagues sur les icebergs. Il m'a dit que les catastrophes écologiques étaient un sujet trop sérieux pour qu'on puisse en faire des blagues.
Les modèles non censurés Ils identifient les cas où les IA refusent de répondre ou donnent des réponses biaisées à partir des modèles de base, les suppriment et entraînent le système à répondre correctement.
Il faudrait que je fasse plus de tests pour savoir à quel point Ollama AI peut être utile sur des ordinateurs avec une quantité limitée de RAM et sans carte graphique dédiée. Quoi qu’il en soit, il est bon de savoir que des alternatives open source font leur chemin et permettent d’éliminer la censure.