打开火力开启:使用Fireworks AI在AutoGen中使用开源LLMs,无需GPU/CPU
目录
- 开始之前
- 环境设置
- 集成 Open Source 语言模型
- 3.1 配置 Phi-2 模型
- 3.2 使用 VLLM 本地操作
- Fireworks AI 介绍
- 4.1 Fireworks AI 概述
- 4.2 Fireworks AI API 平台
- 4.3 基于生成式 AI API 的创新界面
- 火力开启方式
- 5.1 提供的服务
- 5.2 PFT 基础模型
- 5.3 Lama 2 boed 模型
- 5.4 节省成本的选择
- 火力开启的集成方法
- 6.1 兼容 Open AI API
- 6.2 利用火力开启 API 和 Autogen 项目
- Autogen 与火力开启的集合
- 7.1 Pyautogen 安装
- 7.2 定义 LLM 配置
- 7.3 构建助理代理和用户代理
- 7.4 运行 Conversation
- 结果展示
- 下一步计划
- 总结和资源链接
🚀 开始之前
在本视频中,我们将继续介绍如何使用 Open Source 语言模型和 Autogen 框架的方式来集成 Fireworks AI 的推理 API。
环境设置
在深入了解 Fireworks AI 之前,让我们快速回顾一下上次的内容。我们通过使用 VLLM 在 Autogen 框架内本地部署的方式来配置 Phi-2 等 Open Source 语言模型。这种方法旨在减少对 OpenAI API 的依赖,通过利用本地计算资源的强大性能,实现成本效益和对会话机器人的更高控制级别。在此基础上,我们现在将转向下一个关键步骤,即如何无缝集成 Fireworks AI 外部 API 来提升您的自动对话系统的性能和效率。
🔥 Fireworks AI 介绍
4.1 Fireworks AI 概述
Fireworks AI 是一个强大的平台,非常适合优化您对 Open Source 语言模型的访问,提供了费用效益和资源免费的 LLM(Language Model)应用程序的解决方案。
4.2 Fireworks AI API 平台
Fireworks AI 构建在一个生成式 AI API 平台上,它提供了一个创新的界面,用于在 Open Source 语言模型中进行推理。它专注于速度、可负担性和定制化,通过使用 PFT 基础模型如 Lama 2 boed,并借助他们在 PyTorch 领域的专业知识来改进速度和延迟,从而实现大幅度的成本降低。与最便宜的 OpenAI 模型 GPT 3.5 turbo1106 相比,Fireworks AI 提供了更低的价格:每输入 1 百万个 token 仅需 1 美元,每输出 1 百万个 token 仅需 2 美元。选择小于 160 亿参数的模型将节省大量成本,特别是当您的 Autogen 代理不需要太多生成能力时。如果您选择优于 GPT 3.5 或甚至等同于 GPT 4 的竞争模型,对于某些类型的任务或语言,您在 Fireworks AI 平台上不会支付比 GPT 3.5 更多的费用。Fireworks AI 还提供了 $1 的免费信用额度,以支持无缝集成的相关 API 和工具,包括与 Land Chain 等合作伙伴的合作。该平台通过共享模型存储库和开放源代码调优 CCK Books 鼓励社区协作。您还可以在这里找到他们支持的官方和自定义模型。
💥 火力开启方式
5.1 提供的服务
Fireworks AI 提供以下服务:
- 基于生成式 AI API 的平台
- PFT 基础模型
- Lama 2 boed 模型
- 相比于最便宜的 OpenAI 模型 GPT 3.5 turbo1106 的大幅成本降低
- 免费的开发者计划,包括与合作伙伴 Land Chain 的合作
5.2 PFT 基础模型
PFT 基础模型是 Fireworks AI 平台上提供的一类模型,它们利用了 PyTorch 领域的专业知识,以提高排序和延迟性能。
5.3 Lama 2 boed 模型
Lama 2 boed 模型是 Fireworks AI 平台上的一个例子,它通过 PFT 基础模型的改进来满足更高的计算要求。
5.4 节省成本的选择
选择比 160 亿参数更小的模型将节省大量成本,尤其是当 Autogen 代理不需要太多生成能力时。根据任务类型和所需语言,选择优于 GPT 3.5 甚至等同于 GPT 4 的竞争模型,您在 Fireworks AI 平台上的费用不会超过 GPT 3.5。
🔌 火力开启的集成方法
6.1 兼容 Open AI API
火力开启 API 与 Open AI API 兼容,因此我们不需要建立一个专用的处理程序来协调界面和提示模板。如果您熟悉 Open AI API,您会自然而然地理解以下代码,它演示了如何使用 API 根据给定的提示生成测试。
6.2 利用火力开启 API 和 Autogen 项目
如果您使用火力开启兼容的 API,您不需要安装任何特殊包,最新的 Open AI 包就足够了。关键在于在 OpenAI 对象中的基本 URL,它指示目标 API 端点。将其智能地修改为推理端点 API:api.fireworks.ai/inference/v1
,再加上您的火力开启 API 密钥,就可以轻松地集成 fireworks AI API 到 Autogen 项目中。
Autogen 与火力开启的集合
7.1 Pyautogen 安装
首先,安装 Pyautogen 包。
7.2 定义 LLM 配置
LLM 配置是 Autogen 代理的重要组成部分,它使其具备与相关的 AIM 能力。在这种情况下,我们只使用来自 Fireworks AI 的模型。请确保模型名称包含完整的路径:accounts.fireworks.models.qwen72b.chat
。
7.3 构建助理代理和用户代理
构建助理代理和用户代理,以运行后端的 qwen72b.chat
和数学用户代理,并作为用户代理来提供专业数学指令并执行 Python 代码。
7.4 运行 Conversation
现在,我们可以启动会话并让它们为任务“找到满足不等式的所有 X”的答案生成一个回答。如果您想在一个良好的 UI 中运行它,请查看我的前一个教程,以快速为 Autogen 应用程序实现面板 UI。在本视频中,我们将继续使用命令行来进行简单演示。从推理 API 生成的部分输出显示了一个正确的 Python 代码,并且数学用户代理可以顺利执行它。qwen72b.chat 模型通过提供正确的 Python 代码来展示了其令人印象深刻的生成质量,并将结果以所需的格式呈现出来。可以很容易地想象要实现这样的好结果需要投入多少计算资源。
结果展示
在运行过程中,我们看到 Fireworks AI 的推理 API 生成了一个正确的 Python 代码,并且数学用户代理顺利执行了它。这是从推理 API 的输出中生成的部分结果,qwen72b.chat 模型以印象深刻的生成质量生成了一段完整的正确的 Python 代码并将结果以所需的格式呈现。想要实现这样的好结果,您会明白需要付出多少计算资源。
下一步计划
在下一个视频中,我们将尝试在 Autogen 中实现函数调用功能,利用这些 Open Source 模型。我相信这将更加有益。敬请关注。
总结和资源链接
在今天的教程中,我们介绍了如何使用 Open Source 语言模型和 Autogen 框架集成 Fireworks AI 的推理 API。您可以在描述中找到本教程的链接和源代码。别忘了点赞、订阅并点击通知按钮,不断创新,下次再见。