掌控你的LLM，无需Prompt Engineering！

目录

• 🚀介绍
• 📚什么是Prompt Engineering
• 🔧Guard Rails的作用
• 🔒Guard Rails的基本原理
• 🧩配置Guard Rails
• 📊Guard Rails的优势和劣势
• 🤖与LLM Rails集成
• ⚡与Link Chain集成
• 🔶使用变量和条件
• 🔗与Doctr集成
• 🌟小节
• 常见问题解答

🚀介绍

在构建AI应用程序，特别是聊天机器人时，不仅仅是要将它们自由地发布给用户，而是限制它们能够说的内容，尤其是它们不能说的内容。长期以来，这一点一直被称为"Prompt Engineering"，这也是目前最为关键的。Prompt Engineering 训练课程的价格高达500欧元，包含将近1000个单词，内容非常丰富。目前存在一些奇怪的内容，然而其中一部分确实是很不错的，因为此前并没有真正的替代品。我们必须通过某种方式限制行为，例如，银行的聊天机器人不应该讲冷笑话或侮辱用户。这当然可以通过Prompt Engineering捕捉到，但如果不发送这样的信息给LLM会更好。这意味着我们需要在消息和LLM之间设置第一道防线，这就是Guard Rails的作用。Guard Rails是定义某些类别的示例，然后通过嵌入模型对其进行向量化，接着将用户请求也向量化，通过与这些示例进行相似度搜索。如果请求相似，可以给出标准回复，从而防止将请求发送到LLM。这样可以加快响应速度，并且对于开放的LLM来说，也显著降低了成本，因为无需向大型语言模型发送太多查询。另外，通过这种方式还可以节省资金，因为不需要使用过于复杂的提示。在本视频中，我将向你展示如何使用Nemo Guard Rails，我们将介绍建模语言Colang的基础知识、Nemo Guard Rails的功能以及如何与Link Chain一起使用。你可以在视频描述中找到代码链接。

📚什么是Prompt Engineering

Prompt Engineering是一种通过编辑和优化模型输入的方式来引导和指导模型输出的方法。通过使用不同类型的提示和示例，可以影响模型生成的答案和回复。Prompt Engineering的目的是最大程度地提高模型的准确性和一致性，从而使其更适合特定的应用场景。通过合理设计和精心构建的提示，可以使模型遵循特定的行为规范，从而避免输出不恰当或不合适的内容。

🔧Guard Rails的作用

Guard Rails是在用户请求和LLM之间设置的第一道防线。它的作用是根据预定义的示例和类别，判断用户的请求与这些示例是否相似。如果相似，则可以直接给出标准回复，从而避免将请求发送到LLM。这样可以大大减少向大型语言模型发送的查询次数，提高响应速度，并节省成本。Guard Rails不仅可以限制LLM的行为，还可以根据具体需求和场景定义各种各样的示例和回复。

🔒Guard Rails的基本原理

Guard Rails的基本原理是使用嵌入模型将用户的请求和预定义的示例进行向量化，然后通过计算它们之间的相似度来判断它们是否相似。如果相似度超过设定的阈值，则可以视为匹配，并给出标准回复。因为相似度计算是基于向量化表示的，所以可以通过将上下文信息考虑在内来进一步提高准确性和匹配度。

🧩配置Guard Rails

要配置Guard Rails，首先需要安装Nemo Guard Rails包。使用以下命令进行安装：

pip install nemo_guardrails

安装完成后，可以通过以下方式配置和使用Guard Rails：

from nemo_guardrails import llm_rails, RailsConfig

# 定义Colang内容
content = """
user:
- "你好"
- "嘿"
bot:
   - "你好，我能帮助你吗？"
   - "嗨，有什么事我可以帮你吗？"
flow:
   - user: [*user]
     bot: [*bot]
"""

# 创建Guard Rails配置
config = RailsConfig.from_content(content)

# 使用Guard Rails配置
rails = llm_rails.LlmRails(config)

# 生成回复
prompt = "你好"
response = await rails.generate_async(prompt)
print(response)

📊Guard Rails的优势和劣势

优势：

• 减少对大型语言模型的查询次数，降低成本
• 提高响应速度，加快回复时间
• 可以根据具体需求和场景定制不同的示例和回复
• 可以有效控制和引导模型的输出，提高一致性和可控性

劣势：

• 依赖于预定义的示例和类别，可能无法全面覆盖各种可能的用户请求
• 对于复杂的场景和需求，配置和管理Guard Rails可能会有一定的复杂性
• 具体的配置和调整需要一定的专业知识和经验，可能需要进行反复试验和优化

🤖与LLM Rails集成

Guard Rails可以与LLM Rails集成，以实现更高效和更精确的响应。LLM Rails是Nemo Guard Rails的一部分，用于管理和调用预先训练的LLM（Language and Linguistic Model）。通过将Guard Rails与LLM Rails结合使用，可以通过嵌入模型和相似度搜索的方法，过滤和处理用户的请求，避免不必要的和无关的查询，并提供标准回复。

⚡与Link Chain集成

Guard Rails还可以与Link Chain集成使用，以实现更复杂和更灵活的逻辑控制。Link Chain是一种用于自动化流程和决策控制的工具。通过将Link Chain与Guard Rails结合使用，可以根据用户的请求和上下文，自动触发和执行特定的操作和回复链。这样可以将更多的逻辑和业务规则集成到系统中，并根据具体的需求和场景进行配置和管理。

🔶使用变量和条件

在Colang文件中，可以使用变量和条件来使逻辑更加动态和灵活。变量使用美元符号（$）来表示，条件使用if-else语句来定义。通过使用变量和条件，可以根据用户的请求和上下文，对回复进行个性化和定制化。

🔗与Doctr集成

Guard Rails还可以与Doctr集成使用，以实现与文档的交互和信息提取。Doctr是一个用于文档处理和信息提取的库。通过将Doctr与Guard Rails结合使用，可以根据用户请求和文档内容，提取相关的属性和信息，并实现更高效和准确的回复。

🌟小节

Guard Rails是构建智能应用，特别是聊天机器人时的重要工具。通过使用Guard Rails，可以控制和引导模型的输出，提高响应速度和准确性，并根据具体需求和场景进行精细的配置和管理。与LLM Rails、Link Chain、Doctr等工具的集成，可以进一步提升系统的功能和性能，带来更好的用户体验。

常见问题解答：

1. Guard Rails和Prompt Engineering有什么区别？ Guard Rails是一种技术和方法，用于在用户请求和LLM之间设置防线，限制和控制模型的输出。而Prompt Engineering是一种通过编辑和优化模型输入的方式，引导和指导模型输出的方法。两者虽然有一定的关联，但在具体应用中有不同的功能和作用。

2. 为什么要使用Guard Rails？ 使用Guard Rails可以减少对大型语言模型的查询次数，降低成本，同时提高系统的响应速度和准确性。通过引入示例和类别，并进行相似度搜索，可以过滤和处理用户的请求，只将需要的查询发送给LLM，并提供标准回复。

3. Guard Rails的设置和管理是否困难？ 配置和管理Guard Rails可能会有一定的复杂性，需要一定的专业知识和经验。但一旦掌握了基本原理和技术，就可以根据具体的需求和场景进行调整和优化，从而实现更好的效果和性能。

4. Guard Rails和LLM Rails有什么区别？ Guard Rails是一种用于在用户请求和LLM之间设置防线的技术和方法。而LLM Rails是Nemo Guard Rails的一部分，用于管理和调用预先训练的LLM模型。两者在功能和使用方式上有一定的关联，但LLM Rails更加偏向于模型管理和调用的方面。

5. Guard Rails适用于哪些应用场景？ Guard Rails适用于需要限制和控制模型输出的应用场景，特别是对于对回复的准确性和一致性要求较高的场景。例如，银行的聊天机器人不应该提供不相关的服务或回答。Guard Rails可以帮助避免这种情况的发生，提高用户体验和系统性能。

详细的代码示例和实现细节，请参考这篇文章。

资源链接：

• Nemo Guard Rails GitHub
• Doctr GitHub