Utilisez des modèles locaux gratuits avec Flowwise AI
Table of Contents:
- Introduction
- Prerequisites
- Installing Local AI
- Downloading and Adding Models
- Starting Local AI Instance
- Testing Local AI
- Creating a Flowwise Chat Flow
- Testing the Local AI Model
- Conclusion
👉 Introduction
Dans cette vidéo, nous allons examiner l'utilisation de modèles gratuits et open source avec Flowwise. Jusqu'à présent, nous avons utilisé les modèles OpenAI tout au long de la série, mais vous m'avez posé des questions dans les commentaires sur la possibilité d'utiliser des modèles locaux avec Flowwise. Dans cette vidéo, je vous montrerai pas à pas comment exécuter Flowwise avec n'importe quel modèle local gratuitement. Bien qu'il soit très facile d'intégrer les modèles OpenAI avec Flowwise, il peut y avoir plusieurs raisons pour lesquelles vous souhaiteriez utiliser un modèle local. La plus évidente est que les modèles locaux sont gratuits et, deuxièmement, vous n'avez pas besoin d'une connexion Internet pour les utiliser, ce qui garde vos conversations locales et privées. Jetons d'abord un coup d'œil aux prérequis.
👉 Prerequisites
Avant de pouvoir exécuter ces modèles localement, nous devrons installer un outil appelé "Local AI". Pour exécuter Local AI, nous devrons également installer "Docker Desktop". Rendez-vous sur docker.com, téléchargez et installez Docker pour votre système d'exploitation. Une fois Docker installé, nous pouvons passer à l'étape suivante : le téléchargement du référentiel "Local AI".
Pour télécharger le référentiel "Local AI", créez un nouveau dossier sur votre disque où vous installerez Local AI. Ouvrez l'invite de commande sur Windows en cliquant sur la barre d'adresse, entrez CMD et appuyez sur Enter. Dans l'invite de commande, entrez "git clone" suivi de l'URL du référentiel "Local AI" et appuyez sur Enter.
Une fois le téléchargement terminé, ouvrez le dossier téléchargé. Ensuite, téléchargez les modèles que vous souhaitez utiliser et copiez-les dans le dossier "models" (par défaut, ce dossier est vide). Pour notre démonstration, nous utiliserons un modèle très populaire appelé "GPT-4". Vous trouverez un lien vers ce modèle dans la description de cette vidéo. Téléchargez le modèle et copiez-le dans le dossier "models".
👉 Installing Local AI
Maintenant que nous avons téléchargé les modèles, nous pouvons démarrer notre instance Local AI. Pour ce faire, ouvrez l'invite de commande, accédez au dossier Local AI en utilisant la commande "CD" et exécutez la commande suivante : "docker-Compose up --pool always". Si c'est la première fois que vous exécutez cette commande, cela peut prendre plusieurs minutes pour le téléchargement et cela téléchargera plusieurs gigaoctets de données.
Une fois le démarrage terminé, vous pouvez vérifier dans Docker que l'instance Local AI est en cours d'exécution sur le port 8080. Maintenant que Local AI fonctionne, passons aux tests.
👉 Testing Local AI
Techniquement, Local AI expose des points d'API que nous pouvons appeler pour interagir avec ces modèles. Vous pouvez utiliser un outil comme "Postman" pour tester cette fonctionnalité. Créez une nouvelle session dans "Postman" et laissez la méthode en "GET". Utilisez l'URL suivante pour accéder à la liste de tous les modèles disponibles dans Local AI : "localhost:8080/V1/models". Cliquez sur "Send" pour tester. Si vous obtenez une liste de modèles en réponse, cela signifie que Local AI fonctionne correctement.
Maintenant que nous savons que Local AI fonctionne, créons notre flux de conversation Flowwise. À partir du tableau de bord Flowwise, cliquez sur "Add New". Enregistrez ce flux de conversation et donnez-lui un nom, tel que "Démo Local AI". Ajoutez ensuite une "chaîne" à cette démo en allant dans les nœuds > chaînes. Ajoutez ensuite notre modèle local AI en allant dans les nœuds > modèles de chat > Local AI. Connectez le modèle à la chaîne en utilisant le port de l'URL pour le "base path" et en copiant le nom du modèle à partir de l'API. Définissez la "temperature" sur une valeur comme 0.7.
Enfin, ajoutons notre "modèle de prompt" en allant dans les nœuds > Prompts. Connectez-le à la chaîne et définissez un modèle de prompt avec la valeur "Quel est un bon nom d'entreprise pour une entreprise qui vend" et la variable "produit". Le produit est le message envoyé par l'utilisateur.
Sauvegardez cette chaîne et testez-la dans le chat en saisissant un nom de produit, par exemple "ballons". Vous recevrez une réponse de notre modèle local indiquant qu'un bon nom d'entreprise pour une entreprise vendant des ballons serait idéalement quelque chose d'accrocheur, mémorable et lié au produit et au service proposés, par exemple "Balloon Empire" ou simplement "The Balloon Company".
C'est génial ! J'espère que vous avez trouvé cette vidéo instructive. N'hésitez pas à vous abonner à ma chaîne, à aimer et à partager cette vidéo. À bientôt !
👉 Conclusion
Dans cet article, nous avons exploré la possibilité d'utiliser des modèles locaux avec Flowwise. Nous avons vu comment installer Local AI, télécharger et ajouter des modèles, démarrer l'instance Local AI, effectuer des tests et créer un flux de conversation Flowwise utilisant notre modèle local AI. L'utilisation de modèles locaux présente des avantages, notamment leur gratuité et la possibilité de maintenir les conversations locales et privées. Si vous êtes intéressé par la mise en place de vos propres modèles locaux avec Flowwise, assurez-vous de suivre les étapes décrites dans cet article.
Resources: