Autogen整合火花AI:無需GPU/CPU即可使用開源LLM

Find AI Tools
No difficulty
No complicated process
Find ai tools

Autogen整合火花AI:無需GPU/CPU即可使用開源LLM

目錄

  1. 簡介
  2. 開源語言模型的本地部署
    • 配置開源語言模型
    • VLLM在autogen框架中的操作
    • 減少對OpenAI API的依賴
  3. Fireworks AI: 開源模型的推理API
    • 簡介Fireworks AI
    • 工作原理
    • 節省成本
  4. 無縫集成Fireworks AI的API
    • 兼容OpenAI API
    • 獲取Fireworks API金鑰
    • 定義LLM配置
    • 建構助理與代理
  5. 整合火花AI的API和autogen項目
    • 安裝Pyautogen套件
    • 定義LLM配置
    • 啟動對話
  6. 結果展示
  7. 下一步計劃
  8. 教學和代碼鏈接

【🔥】火花AI:開源語言模型的推理API

在這個視頻中,我們將進一步探討如何將本地部署轉換為開源模型的推理API,並介紹一個功能強大的平台——"火花AI",該平台能夠有效地整合開源語言模型,為你的LLM應用提供具有成本效益和資源免費的解決方案。

1. 簡介

在我們之前的視頻中,我們深入介紹了如何通過本地部署在autogen框架中集成開源語言模型。這種方法旨在通過利用本地計算資源的優勢,降低對OpenAI APIs的依賴,從而實現成本效益的目的。

在這個基礎上,我們現在要介紹的是如何無縫集成像火花AI這樣的外部API,以提升你的對話代理的性能和效率。這種方法對於那些希望在最小化開銷的同時仍然能夠利用開源語言模型的能力的開發人員來說,是一個絕佳的機會。

2. 開源語言模型的本地部署

在開始講解火花AI之前,讓我們快速複習一下我們之前的進展。我們通過使用VLLM在autogen框架內部操作的步驟,來配置開源語言模型(例如Phi-2)以在本地運行。這種方法旨在通過利用本地計算資源的優勢,減少對OpenAI APIs的依賴,從而實現成本效益和對話代理控制權的提高。

3. Fireworks AI: 開源模型的推理API

3.1 簡介Fireworks AI

Fireworks AI是一個基於生成式AI API平台的服務。它提供一個創新的介面,用於在開源語言模型中進行推理,並著重於速度、價格和定制能力。它通過使用PyTorch專業知識定制PyTorch Foundations的模型(如Lama2、boed等)來提高排序和延遲性能,從而實現相對於OpenAI最便宜的GPT 3.5 Turbo模型的實質成本降低。比起這種模型每1百萬個輸入令牌1美元和每1百萬個輸出令牌2美元的成本,選擇一個小於160億個參數的模型可以大大節省成本,特別是對於那些不需要太多生成能力的自動生成代理來說。

3.2 工作原理

Fireworks AI提供了與OpenAI API兼容的API,因此我們無需構建一個專用的處理程序來調和接口和提示模板。如果你熟悉OpenAI API,你自然就能理解這段程式碼,它演示了如何使用API來生成基於給定提示的測試。如果你使用火花兼容的API,你不需要安裝任何特殊的套件,最新的OpenAI套件足夠使用。解鎖它的關鍵在於OpenAI對象中的基本URL,它指示着目標API終點。將其智能地更改為帶有火花API金鑰的推理端點api. fireworks.AI/inference/v1。

3.3 節省成本

在Fireworks AI平台上選擇更具競爭力的模型(比GPT 3.5好甚至等於GPT 4),對於某種類型的任務或語言,你將不會花費比GPT 3.5更多的費用。該平台具有與使用Google身份驗證進行無縫集成的兼容API和工具,包括與合作夥伴像Landchain的合作關係。通過共享模型存儲庫和開放源碼微調的CCK Book,該平台鼓勵社區協作。您可以在這裡找到他們支援的官方和自定義模型,點擊每個模型名字可以在遊樂場上免費使用。

4. 無縫集成Fireworks AI的API

4.1 兼容OpenAI API

Fireworks AI的API兼容OpenAI API,因此我們無需構建一個專用的處理程序來調和接口和提示模板。

4.2 獲取Fireworks API金鑰

首先,你需要在你的Fireworks AI用戶帳戶頁面上移動到API金鑰,並創建一個新的API金鑰,並將其複製到你的API金鑰參數中。

4.3 定義LLM配置

在這裡,我們要使用的模型來自Fireworks AI,請確保模型名稱包含在整個路徑中。為llm config列表定義一個Json字符串,其中包含模型、API金鑰和基URL作為一個環境變量。

4.4 建構助手和代理

讓我們構建兩個普通代理:assistant agent和math user proxy agent。assistant agent在後台運行qwen 72b chat,math user proxy agent則充當用戶代理,提供專業的數學指令和執行Python代碼的功能。

5. 整合火花AI的API和autogen項目

5.1 安裝Pyautogen套件

首先,安裝Pyautogen套件。

5.2 定義LLM配置

定義LLM配置,確保模型名稱包含在整個路徑中。

5.3 啟動對話

現在,我們可以開始對話了。讓他們生成一個解答來解決不等式問題,找到滿足條件的所有X。如果你想在一個體面的UI中運行它,請參考我之前的教程,快速為這個autogen應用程序提供面板UI。這一部分的輸出是通過火花AI的推理API生成的,它生成了一個正確的Python代碼並將結果按要求格式化。很容易想像出要達到這樣的好效果你需要花多少計算資源。

6. 結果展示

我們在這個視頻中展示了整合Fireworks AI API和autogen項目的簡單示例。該方法能為你的對話代理帶來更好的性能和效率。

7. 下一步計劃

在下一個視頻中,我們將試圖在autogen中實現函數調用功能,並探索這些開源模型的更多用途。我相信這將非常有幫助!

8. 教學和代碼鏈接

如果你想深入了解更多細節,你可以在說明下方找到教學和源代碼的鏈接。請不要忘記點贊、訂閱和設置通知!保持創新,我們下次見!

Most people like

Are you spending too much time looking for ai tools?
App rating
4.9
AI Tools
100k+
Trusted Users
5000+
WHY YOU SHOULD CHOOSE TOOLIFY

TOOLIFY is the best ai tool source.