LlamaIndex智能代理系统开发指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01022/article/details/148325256

LlamaIndex智能代理系统开发指南

llama_index LlamaIndex（前身为GPT Index）是一个用于LLM应用程序的数据框架项目地址: https://gitcode.com/gh_mirrors/ll/llama_index

什么是智能代理

在LlamaIndex框架中，智能代理(Agent)是指一个由大型语言模型(LLM)驱动的智能系统，它集成了记忆存储(Memory)和工具集(Tools)两大核心组件，能够处理外部用户的输入并做出智能响应。与广义的"代理系统"概念不同，LlamaIndex中的代理特指这种结构化的智能处理单元。

快速创建代理

创建一个基础代理仅需几行Python代码：

from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai import OpenAI

# 定义计算工具函数
def multiply(a: float, b: float) -> float:
    """用于两个数字相乘"""
    return a * b

# 创建代理实例
agent = FunctionAgent(
    tools=[multiply],
    llm=OpenAI(model="gpt-4"),
    system_prompt="你是一个擅长数学计算的助手"
)

# 运行代理
response = await agent.run("123乘以456等于多少？")
print(response)

代理工作原理

当代理运行时，它会执行以下循环逻辑：

获取最新消息和聊天历史记录
将工具定义和历史记录发送给LLM
LLM返回直接响应或工具调用指令
执行所有被调用的工具
将工具执行结果加入历史记录
根据更新后的历史记录再次调用LLM
循环直到获得最终响应

工具系统详解

LlamaIndex提供了灵活的工具定义方式：

基础函数工具

最简单的工具就是Python函数，只需添加文档字符串说明用途：

def get_weather(city: str) -> str:
    """获取指定城市的天气信息"""
    # 实现代码...

高级工具类

使用FunctionTool和QueryEngineTool可以获得更多控制：

from llama_index.core.tools import FunctionTool

weather_tool = FunctionTool.from_defaults(
    fn=get_weather,
    name="weather_query",
    description="查询城市天气"
)

预置工具集

LlamaIndex内置了常见API的预定义工具，如数据库查询、网络请求等，可直接集成使用。

记忆系统配置

记忆是代理的核心组件，默认使用ChatMemoryBuffer：

from llama_index.core.memory import ChatMemoryBuffer

# 自定义记忆缓冲区
memory = ChatMemoryBuffer.from_defaults(
    token_limit=4000  # 控制记忆容量
)

# 使用自定义记忆
response = await agent.run("继续刚才的话题", memory=memory)

记忆系统支持多种后端存储，可根据需求选择短期或长期记忆方案。

多模态代理开发

现代LLM如GPT-4 Vision支持图像理解，可以构建多模态代理：

from llama_index.core.llms import ChatMessage, ImageBlock

# 创建包含图像的消息
msg = ChatMessage(
    role="user",
    blocks=[
        TextBlock(text="请分析这张图片"),
        ImageBlock(path="./chart.png")
    ]
)

# 多模态代理处理
response = await agent.run(msg)

多代理协作系统

LlamaIndex支持创建复杂的多代理系统，代理之间可以协作完成任务：

from llama_index.core.agent.workflow import AgentWorkflow

# 创建不同职能的代理
research_agent = FunctionAgent(...)
analysis_agent = FunctionAgent(...)
report_agent = FunctionAgent(...)

# 构建工作流
workflow = AgentWorkflow(
    agents=[research_agent, analysis_agent, report_agent]
)

# 执行协作任务
result = await workflow.run("生成市场分析报告")

底层代理开发

对于需要精细控制的场景，可以直接使用LLM底层API构建代理：

# 初始化工具
tools = [FunctionTool.from_defaults(get_weather)]
tool_dict = {t.metadata.name: t for t in tools}

# 代理主循环
while True:
    # 获取LLM响应
    response = llm.chat_with_tools(tools, chat_history)
    
    # 解析工具调用
    tool_calls = llm.get_tool_calls_from_response(response)
    
    if not tool_calls:
        break  # 获得最终响应
        
    # 执行工具并更新历史
    for call in tool_calls:
        tool_output = tool_dict[call.tool_name](**call.tool_kwargs)
        chat_history.append(create_tool_message(tool_output))