Avec l'émergence de Mistral, un modèle de langage open source et français, savoir faire tourner ce type de modèle sur ma machine me semblait être un bon challenge. Pour y parvenir de manière plus aisée, mon choix s'est porté sur Ollama.

Dans cet article, je vous guiderai étape par étape à travers le processus d'installation d'Ollama sur Windows, et à l'utilisation de ses divers modèles, incluant Mistral, Llama2, et d'autres versions uncensored (signifie que le modèle répond sans considération des normes éthiques).

Je partagerai mes connaissances personnelles, ayant mené à bien cette installation sur mon ordinateur équipé de 16Go de RAM DDR4, une carte graphique Nvidia GTX1660, et un processeur Ryzen 5 3600. Bien que ma configuration commence à dater, elle s'est avérée suffisante pour ce projet.

Puisque Ollama est uniquement disponible sur Mac et Linux, je vais vous montrer comment l'installer via WSL, une solution de contournement étant donné que l'utilisation d'une machine virtuelle n'a pas fonctionné pour moi. Nous aborderons les erreurs courantes et leurs solutions, l'installation de pilotes Nvidia pour Linux, et finalement, j’ai mis des liens intéressants a votre disposition pour aller plus loin.

Mise en place du WSL

Pour débuter l'installation d'Ollama sur un système Windows, la première étape consiste à installer un sous-système Linux. Dans mon cas, j'ai opté pour Ubuntu, disponible via le Microsoft Store.

Il est essentiel de vérifier certaines fonctionnalités Windows avant de poursuivre. Assurez vous que les options Hyper-V, Sous-système Windows pour Linux et Plateforme de machine virtuelle sont activées dans les fonctionnalités Windows.

Une fois cette vérification faite, procédez comme suit :

Ouverture de PowerShell en mode Administrateur : Cela est nécessaire pour exécuter des commandes qui affectent les paramètres du système.

Exécution des commandes suivantes : Ces commandes vont installer et mettre à jour le sous-système Windows pour Linux.

wsl.exe --install
wsl.exe --update

Gestion des erreurs éventuelles : Si une erreur survient, il se peut que la virtualisation ne soit pas activée dans le BIOS de votre ordinateur. Pour y remédier, redémarrez votre ordinateur, accédez au BIOS, et activez l'option Virtualization.

Résolution des problèmes persistants : Dans le cas où des erreurs continuent d'apparaître, Microsoft fournit généralement un lien contenant des instructions détaillées pour les résoudre.

Une fois le sous-système Linux installé, Ubuntu vous invitera à créer un compte utilisateur. Après avoir configuré votre compte et accédé au terminal, la première étape consiste à mettre à jour les packages. Pour ce faire, exécutez la commande suivante :

sudo apt update && sudo apt upgrade

Cette étape assure que votre système dispose des dernières mises à jour et correctifs de sécurité.

Installation de Ollama

Après la mise à jour de votre système, vous pouvez procéder à l'installation d'Ollama. Cette opération est relativement simple.

Pour installer Ollama, vous avez deux options :

1. Visiter le site officiel : Rendez-vous sur le site d'Ollama pour obtenir le lien de téléchargement.
2. Utiliser la commande d'installation ci-dessous pour vous éviter quelques cliques : Vous pouvez télécharger et installer Ollama en exécutant la commande suivante dans votre terminal :

curl https://ollama.ai/install.sh | sh

Une fois arrivé à cette étape, vous pouvez facilement confirmer l'installation d'Ollama. Il suffit de saisir la commande suivante dans votre terminal : ollama help.

En réponse, Ollama vous présentera la liste complète des commandes à votre disposition, y compris, mais sans s'y limiter :

ollama run
ollama list
ollama rm

Ensuite, visitez le site d'Ollama et accédez à la section dédiée aux modèles. Sélectionnez le modèle de votre choix et lancez le en utilisant la commande ollama run. Par exemple, pour utiliser le modèle Mistral, vous entreriez : ollama run mistral. Je vous encourage également à explorer les modèles non censurés, tels que llama2-uncensored. Ces modèles offrent une expérience divertissante, surtout pour poser des questions auxquelles ChatGPT n’a pas le droit de répondre.

Installer le driver Nvidia pour le WSL

Si, après l'installation d'Ollama, vous remarquez que le message indique "CPU ONLY MODE" au lieu de "NVIDIA GPU installed", et que vous disposez pourtant d'une carte graphique Nvidia, une étape supplémentaire est nécessaire. Il vous faudra installer les pilotes Nvidia sur votre PC. Vous pouvez les télécharger depuis le site officiel de Nvidia.

Après avoir installé les pilotes sur votre PC, redémarrez le et procédez à l'installation des pilotes dans Ubuntu avec la commande suivante :

sudo apt-get install nvidia-driver-515

Pour aller plus loin :

Session System Management

Module Node pour intéragir avec Ollama && le github