淺談AI概念：RAG | 解析檢索增強生成

淺談AI概念：RAG | 解析檢索增強生成

目錄

🔍 概述

1. 什麼是 RG？
2. RG 的工作原理
   • 2.1 收集外部資料
   • 2.2 檢索相關文件
   • 2.3 增強用戶提示
   • 2.4 定期更新外部資料
3. Python 中實現 RG 應用的選項

📝 文章

什麼是 RG？

最近，人們一直在談論一個名為 RG 的技術，它代表檢索增強生成。要理解 RG，我們首先需要理解大型語言模型的最大限制。大型語言模型的最大限制之一是，它們不具有關於最近事件的信息，它僅具有截至某一指定時間收集的訓練數據中的事件信息。因此，如果您有一個訓練至 2020 年的公共數據的 LLM（大型語言模型），並且我們問它有關當前美國總統的問題，它將無法給出正確的答案，可能會說出唐納德·特朗普是前總統。除了這個限制之外，LLM 通常是在從維基百科、書籍、文章腳本等公共來源收集的數據上進行訓練的，它不會知道組織維護的私人信息，如醫療記錄、保險記錄、銀行記錄、客戶指南記錄等。如果您在其中一個行業工作，並且希望擁有可以利用內部私人數據回答問題的私人 LLM，那麼 RG 可以幫助您。

### RG 的工作原理

讓我們深入了解 RG 如何在實踐中運作。沒有 RG，LLM 接收用戶輸入並根據其訓練的數據生成回應。但是，使用 RG，首先使用用戶輸入從外部數據源檢索相關信息。然後，將這些相關信息和用戶查詢一起提供給 LLM。LLM 然後使用這些新信息和訓練數據生成更好的回應。總的來說，RG 過程可以分為四個步驟：

收集外部資料

第一步是收集外部資料源並從中創建向量存儲。外部數據可以來自多個來源，如文章庫、數據庫、API 等。外部數據首先被轉換為嵌入，然後存儲在向量數據存儲器中。這些向量存儲器被優化以進行更快的搜索。

檢索相關文件

第二步是檢索相關文件。將用戶查詢首先轉換為嵌入，然後與向量存儲器匹配以檢索相關文件。常用的相似度度量用於理解嵌入之間的相似度。

增強用戶提示

第三步是使用從前一步檢索到的相關文件來增強用戶提示。在這裡，使用提示工程技術有效地將用戶查詢傳遞給 LLM。增強的提示然後讓 LLM 生成準確和最新的答案。

定期更新外部資料

第四步是定期更新外部資料源，以防止外部數據變得陳舊。它們定期更新新信息，這是一種成本有效的方法。它們的嵌入定期生成並更新到向量數據存儲器中。使用 RG 的好處之一是我們可以將外部信息的來源包含在生成的回應中，以進行驗證。這有助於建立用戶信任。

Python 中實現 RG 應用的選項

Python 中有許多不同的解決方案可用於構建 RG 應用程序。各種雲服務提供商都提供了各種選擇，但是 Python 社區中最常用的框架是 LChain、Llama、Index 和 HuggingFace。這些框架是開源的，相比其他選項提供了更多的靈活性。用於維護外部數據源向量存儲器的嵌入的框架包括 FIS、Pinecone、VW8、Chroma 和 Quadrant。

那就是 RG 概念的簡要介紹。在即將推