Entenda os Tokens e Preços da API da OpenAI

📚 Índice

1. Introdução
2. Como o Open AI cobra pelo uso da API
3. O que são tokens
4. Como os tokens são usados no Open AI
5. Exemplo de tokenização
6. Custos por 1000 tokens em diferentes modelos da Open AI
7. Como os tokens são convertidos em números
8. Conclusão
9. Dúvidas frequentes (FAQ)

💡 Destaques:

• Como o Open AI cobra pelo uso de tokens
• O que são tokens e como são utilizados
• Exemplo de como ocorre a tokenização
• Custos por 1000 tokens em diferentes modelos da Open AI
• Conversão de tokens em números

Introdução

Neste artigo, vamos explorar o processo de cobrança do Open AI pelo uso da sua API. A forma como eles calculam os custos é baseada no uso de tokens, que são um pouco diferentes das palavras. Explicaremos o que são tokens, como eles são usados na Open AI e daremos um exemplo prático de tokenização. Além disso, abordaremos os custos por 1000 tokens em diferentes modelos da Open AI e como esses tokens são convertidos em números. Vamos mergulhar nesse universo fascinante e entender melhor como funciona esse aspecto essencial da Open AI.

Como o Open AI cobra pelo uso da API

O método de cobrança do Open AI é baseado no uso de tokens. Em vez de calcular o número de palavras utilizadas, eles cobram de acordo com a quantidade de tokens utilizados na entrada e na saída. Por exemplo, ao solicitar a tradução de uma Frase, eles levarão em consideração quantos tokens foram utilizados na entrada (a frase original) e na saída (a tradução gerada).

O que são tokens

Segundo a Open AI, os tokens podem ser considerados como subpalavras. Essa definição é bastante precisa, já que os tokens são, de fato, subunidades linguísticas menores do que as palavras completas. A contagem de tokens é efetuada de forma independente da contagem de palavras, levando em conta a estrutura e a forma em que as palavras estão inseridas.

Como os tokens são usados no Open AI

Os tokens desempenham um papel fundamental no processamento de linguagem natural do Open AI. Ao utilizar os modelos de IA, como o GPT, o texto de entrada é dividido em tokens, permitindo que o modelo gere a saída desejada. Essa divisão ocorre levando em consideração padrões de combinação de prefixos e sufixos em palavras. Ao fragmentar as palavras, é possível gerar uma representação mais rica e precisa da linguagem.

Exemplo de tokenização

De forma simplificada, vamos utilizar um exemplo para ilustrar como ocorre a tokenização no Open AI. Suponha que desejamos traduzir a frase "Estou levando meu cachorro para passear" para o espanhol. Ao alimentar essa frase em um modelo GPT, ela será dividida em tokens da seguinte forma:

1. "Estou"
2. "levando"
3. "meu"
4. "cachorro"
5. "para"
6. "passear"

Nesse exemplo, temos 6 palavras, mas 7 tokens. Isso ocorre porque algumas palavras foram quebradas em mais de um token, aproveitando padrões comuns na língua. Essa estratégia visa melhorar o desempenho e a eficácia dos modelos de IA.

Custos por 1000 tokens em diferentes modelos da Open AI

Os custos por 1000 tokens podem variar dependendo do modelo escolhido. Modelos mais avançados, como o GPT4, costumam ter um preço maior por 1000 tokens do que modelos mais básicos. A Open AI disponibiliza em seu site uma tabela com os custos por 1000 tokens para cada modelo. Vale ressaltar que essa tabela está sujeita a alterações e é importante consultar o site oficial para obter informações atualizadas sobre os preços.

Como os tokens são convertidos em números

Na prática, os tokens são convertidos em números para que o modelo de IA possa gerar as saídas corretas. No entanto, esse processo é realizado pela Open AI de forma interna e não é necessário nos preocuparmos com os detalhes técnicos dessa conversão. É importante compreender que, por trás da geração das respostas, há um complexo mecanismo de transformação dos tokens em uma linguagem compreensível para o modelo.

Conclusão

Neste artigo, exploramos o método de cobrança do Open AI pelo uso da sua API, que é baseado no uso de tokens. Aprendemos o conceito de tokens e como eles são utilizados no contexto da Open AI. Além disso, vimos um exemplo de tokenização e discutimos os custos por 1000 tokens em diferentes modelos da Open AI. Ficou claro que os tokens desempenham um papel importante na conversão e processamento das informações linguísticas. Esperamos que esse artigo tenha fornecido insights valiosos sobre esse aspecto fundamental da Open AI.

Dúvidas frequentes (FAQ)

1. Quais são as vantagens de cobrar por tokens em vez de palavras?

A cobrança por tokens permite uma contabilização mais precisa e granular do uso da API, considerando a estrutura linguística utilizada. Dessa forma, os custos são mais justos e alinhados com a realidade do processamento de linguagem natural.

2. É possível prever os custos de uso da API com antecedência?

Sim, a Open AI disponibiliza uma tabela com os custos por 1000 tokens em diferentes modelos. É importante consultar essa tabela e realizar os cálculos adequados para estimar os custos de acordo com o volume de tokens esperado.

3. Os tokens são os mesmos em todos os idiomas?

Não, os tokens podem variar conforme o idioma utilizado. Uma mesma frase em diferentes idiomas pode resultar em um número diferente de tokens, dependendo das particularidades linguísticas de cada língua.

Recursos:

• OpenAI - Preços