Estimation du coût d'utilisation de l'API OpenAI avec la bibliothèque Tiktoken
Table des matières:
- Introduction
- Estimation du coût de l'utilisation de l'API Open AI
- Estimation du coût de l'incorporation du modèle Adder 2
- Utilisation du Package Tick Token pour l'estimation du coût en Python
- Coût de l'incorporation d'un modèle d'encodage GPTC en JavaScript
- Qu'est-ce qu'un token ?
- Conversion de tokens en identifiants de tokens
- Utilisation de la librairie Tick Token pour l'encodage de texte
- Calcul du coût d'encodage en fonction du nombre de tokens
- Calcul du coût d'encodage pour un document volumineux
- Conclusion
💡 Introduction
Dans cette vidéo, nous allons voir comment estimer le coût d'utilisation des APIs d'Open AI, en particulier comment estimer le coût de l'incorporation du modèle Adder 2. Nous utiliserons le package Tick Token de Python à cette fin. Pour JavaScript, nous avons l'utilitaire GPTC Encoder, mais nous utiliserons simplement Tick Token pour l'Instant. Avant de commencer avec Tick Token, voyons ce que sont les tokens.
💡 Qu'est-ce qu'un token ?
Dans cet exemple, nous avons un paragraphe composé de mots. La plupart de ces mots sont mappés à leurs tokens respectifs, mais certains mots sont composés de plusieurs tokens. Prenons cet exemple, ce mot est composé de trois tokens individuels : IND, IV et ISIBLY. Ces trois tokens peuvent également être convertis en identifiants de tokens qui sont des identifiants numériques pour les tokens.
Maintenant, passons à l'utilisation de la librairie Tick Token pour l'estimation du coût de l'incorporation d'un modèle.
💡 Estimation du coût de l'utilisation de l'API Open AI
En consultant la page de tarification d'Open AI, nous pouvons voir le coût par millier de tokens. Nous pouvons également calculer le nombre de tokens dans nos données texte ou PDF, puis multiplier le coût par token par le nombre de tokens pour obtenir le coût de l'encodage du document.
Pour cela, nous allons importer le package Tick Token et utiliser la fonction d'encodage pour obtenir l'encodage du texte d'incorporation. Par exemple :
import tick_token
encoding = tick_token.encoding_for_model("Adder2")
data = "Votre texte ici"
encoded_data = encoding.encode(data)
cost_per_thousand_tokens = 0.004 # Coût par millier de tokens
number_of_tokens = len(encoded_data)
total_cost = cost_per_thousand_tokens * (number_of_tokens / 1000)
print(f"Le coût de l'encodage de ce document est de {total_cost} dollars.")
De cette manière, nous pouvons calculer le coût de l'utilisation des modèles Open AI.
💡 Estimation du coût de l'incorporation du modèle Adder 2
Le modèle Adder 2 utilise une méthode d'encodage basée sur CL100K. Pour obtenir le coût d'incorporation pour ce modèle, nous pouvons modifier le code précédent comme suit :
import tick_token
encoding = tick_token.encoding_for_model("Adder2")
data = "Votre texte ici"
encoded_data = encoding.encode(data)
cost_per_thousand_tokens = 0.0001 # Coût par millier de tokens pour le modèle Adder2
number_of_tokens = len(encoded_data)
total_cost = cost_per_thousand_tokens * (number_of_tokens / 1000)
print(f"Le coût de l'incorporation du modèle Adder2 pour ce document est de {total_cost} dollars.")
De cette manière, nous pouvons estimer le coût de l'incorporation du modèle Adder 2.
💡 Utilisation du package Tick Token pour l'estimation du coût en Python
Le package Tick Token de Python est un outil utile pour estimer le coût d'incorporation des modèles Open AI. Il utilise des tokens pour représenter les mots et les phrases, et nous pouvons facilement convertir ces tokens en identifiants de tokens. Voici comment utiliser ce package pour estimer le coût en Python :
- Importez le package Tick Token :
import tick_token
- Obtenez l'encodage du modèle :
encoding = tick_token.encoding_for_model("NomDuModèle")
- Encodez vos données de texte :
encoded_data = encoding.encode(data)
- Calculez le coût total en multipliant le nombre de tokens par le coût par millier de tokens :
total_cost = cost_per_thousand_tokens * (number_of_tokens / 1000)
💡 Coût de l'incorporation d'un modèle d'encodage GPTC en JavaScript
En JavaScript, nous pouvons utiliser l'outil GPTC Encoder pour estimer le coût de l'incorporation d'un modèle d'encodage de texte. Voici comment utiliser cet outil :
- Installez le package GPTC Encoder :
npm install gptc-encoder
- Importez le package :
const encoder = require('gptc-encoder')
- Encodez votre texte :
const encodedData = encoder.encode(data)
- Calculez le coût total en multipliant le nombre de tokens par le coût par millier de tokens.
💡 Conclusion
Dans ce tutoriel, nous avons appris comment estimer le coût d'utilisation des APIs Open AI, en particulier le coût de l'incorporation du modèle Adder 2. Nous avons utilisé le package Tick Token en Python et l'utilitaire GPTC Encoder en JavaScript pour effectuer ces estimations. Nous avons également vu comment convertir des mots en tokens et des tokens en identifiants de tokens. En utilisant ces méthodes, nous pouvons facilement calculer le coût d'incorporation pour nos documents textuels ou PDF.