构建一个基本代理
在LlamaIndex中,代理是一个半自主的软件组件,由LLM(大型语言模型)驱动,被赋予一个任务并执行一系列步骤来解决该任务。它被赋予一组工具,这些工具可以是任意函数,甚至是完整的LlamaIndex查询引擎,并且它会选择最适合完成每个步骤的工具。每当完成一个步骤后,代理会判断任务是否已经完成,如果是,则向用户返回结果;如果需要进一步执行步骤,则循环回到开始。
在LlamaIndex中,你可以选择使用我们预打包的代理/工具,或者从头开始构建自己的代理工作流程,这在“构建工作流程”部分有详细介绍。本节将介绍我们预打包的代理和工具。
代理流程
入门指南
你可以在教程仓库中找到所有这些代码。
为了避免冲突并保持环境整洁,我们将启动一个新的Python虚拟环境。你可以使用任何虚拟环境管理器,但这里我们将使用poetry:
poetry init
poetry shell
然后我们将安装LlamaIndex库和一些其他有用的依赖项:
pip install llama-index python-dotenv
如果遇到任何问题,请查看我们更详细的安装指南。
OpenAI密钥
我们的代理将由OpenAI的GPT-3.5-Turbo LLM驱动,因此你需要一个API密钥。一旦你有了密钥,可以将其放在项目根目录下的.env文件中:
OPENAI_API_KEY=sk-proj-xxxx
如果你不想使用OpenAI,我们稍后会展示如何使用其他模型。
导入依赖
我们将首先导入LlamaIndex所需的组件,并从.env文件中加载环境变量:
from dotenv import load_dotenv
load_dotenv()
from llama_index.core.agent import ReActAgent
from llama_index.llms.openai import OpenAI
from llama_index.core.tools import FunctionTool
创建基本工具
在这个简单的示例中,我们将创建两个工具:一个用于将数字相乘,另一个用于将数字相加。
def multiply(a: float, b: float) -> float:
"""Multiply two numbers and returns the product"""
return a * b
multiply_tool = FunctionTool.from_defaults(fn=multiply)
def add(a: float, b: float) -> float:
"""Add two numbers and returns the sum"""
return a + b
add_tool = FunctionTool.from_defaults(fn=add)
如你所见,这些是普通的Python函数。文档字符串注释为代理提供了关于工具功能的元数据:如果你的LLM在选择使用哪个工具时遇到困难,这些文档字符串是你应该首先调整的内容。
在每个函数定义之后,我们通过这些函数创建FunctionTool对象,以便代理能够理解它们。
初始化LLM
今天的工作将由GPT-3.5-Turbo完成:
llm = OpenAI(model="gpt-3.5-turbo", temperature=0)
你也可以选择其他通过API访问的流行模型,例如Mistral、Anthropic的Claude或Google的Gemini。
初始化代理
现在我们创建代理。在这种情况下,这是一个ReAct代理,一个相对简单但功能强大的代理。我们给它一个包含我们两个工具的数组,我们刚刚创建的LLM,并设置verbose=True
以便我们可以看到发生了什么:
agent = ReActAgent.from_tools([multiply_tool, add_tool], llm=llm, verbose=True)
提问
我们指定它应该使用工具,因为这个任务非常简单,GPT-3.5实际上不需要这个工具来得到答案。
response = agent.chat("What is 20+(2*4)? Use a tool to calculate every step.")
这应该会给你类似以下的输出:
Thought: The current language of the user is: English. I need to use a tool to help me answer the question.
Action: multiply
Action Input: {'a': 2, 'b': 4}
Observation: 8
Thought: I need to add 20 to the result of the multiplication.
Action: add
Action Input: {'a': 20, 'b': 8}
Observation: 28
Thought: I can answer without using any more tools. I'll use the user's language to answer
Answer: The result of 20 + (2 * 4) is 28.
The result of 20 + (2 * 4) is 28.
如你所见,代理依次选择了正确的工具,并将答案结合起来给出最终结果。查看仓库以了解最终代码应该是什么样子。
恭喜!你已经构建了最基本类型的代理。接下来你可以了解如何使用本地模型,或者跳到为你的代理添加RAG(Retrieval-Augmented Generation)。