LiteLLM é uma biblioteca de código aberto que simplifica o completamento de LLM e chamadas de incorporação. Ele fornece uma interface conveniente e fácil de usar para chamar diferentes modelos de LLM.
Para usar o LiteLLM, você precisa importar a biblioteca 'litellm' e definir as variáveis de ambiente necessárias para as chaves da API de LLM (por exemplo, OPENAI_API_KEY e COHERE_API_KEY). Uma vez que as variáveis de ambiente são definidas, você pode criar uma função Python e fazer chamadas de completamento de LLM usando o LiteLLM. O LiteLLM permite que você compare diferentes modelos de LLM fornecendo um playground de demonstração onde você pode escrever código Python e ver as saídas.
Aqui está o Discord de LiteLLM: https://discord.com/invite/wuPM9dRgDw. Para mais mensagens do Discord, clique aqui(/pt/discord/wupm9drgdw).
Link de Github de LiteLLM: https://github.com/BerriAI/litellm
Por Genevieve em Maio 22 2024
Treinamento Master LLM: 15 Dicas de Especialistas para o Sucesso em 2023!