Ollama

Ollama est un outil qui permet d'utiliser des modèles d'IA (Llama 2, Mistral, Gemma, etc...) localement sur son propre ordinateur ou serveur.

C'est ultra simple à utiliser, et ça permet de tester des modèles d'IA sans être un expert en IA.

Il supporte un grand nombre de modèles d'IA donc certains en version non censurés.

Rien de mieux pour tester des modèles d'IA non propriétaires !

Installation

Pour l'installer sur Linux :

curl -fsSL https://ollama.com/install.sh | sh
# Ou
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.1.32 sh # Pour une version spécifique

Pour l'installer sur Arch Linux :

sudo pacman -S ollama

Utilisation

Pour démarrer un modèle d'IA, il suffit de lancer la commande ollama run suivi du nom du modèle.

Par exemple, pour démarrer Mistral :

ollama run mistral

Une fois le modèle démarré, vous pouvez directement interagir avec lui depuis votre terminal.

Pour supprimer le modèle :

ollama rm mistral

Il existe même une commande pour démarrer Ollama en mode serveur avec Docker :

docker run -d --name ollama -p 11434:11434 ollama/ollama

Vous pouvez interagir avec Ollama via le port 11434 avec des requêtes HTTP :

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "mistral",
  "prompt":"Here is a story about llamas eating grass"
}'

Utilisation des modèles au format .gguf et .bin

Et si vous voulez utiliser un modèle au format .gguf, vous pouvez le faire :

wget https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/main/llama-2-7b-chat.Q2_K.gguf
echo 'FROM ./llama-2-7b-chat.Q2_K.gguf' > Modelfile
ollama create llama-2-7b -f Modelfile
ollama run llama-2-7b

Pour les modèles au format .bin, il faut les convertir en .gguf avec llama.cpp ou ollama/quantize

Utilisation avec un client web

Il est aussi possible d'utiliser un client web comme Open WebUI, Chatbot UI ou Lobe Chat

Open WebUI

Cela donne un rendu très équivalent à ChatGPT.

Nos données restent privées et l'on peut discuter avec un modèle d'IA sans être censuré.

Références :