用Langchain创建一个可以总结网页内容的Agent

关注

原创最新推荐文章于 2026-03-24 00:17:36 发布 1.3k 阅读 AI 写同款· GEO 优化 ›

使用langchain与你自己的数据对话(一)：文档加载与切割今天我们学习了文本的加载与分割，Langchain提供了丰富的外部数据加载器，这些外部数据可以是结构化的，也可以是非结构化的，其中我们还介绍了从网页和youtube视频中加载文本的方法，这个挺有意思的，大家可以尝试一下，由于外部数据量可能比较大，如pdf, text文档等，因此当我们加载了外部数据以后，我们还需要对数据进行分割处理，我们介绍了几种文本分割的方法，其中有按字符分割的CharacterTextSplitter分割器，和递归分割的RecursiveCharacterTextSplitter分割器。阅读详情

网页加载工具定义

我们首先就是要定义个可以加载到网页内容的工具，这次我们直接使用LangChain提供好的WebBaseLoader。另外借助LangChain的装饰器@tool，我也仅需要正常写一个函数并表明出入参类型和功能即可，不用提供像之前那样复杂的函数定义schema。

@tool
def web_loader(url: str) -> str:
    """抓取url对应网页的内容"""
    loader = WebBaseLoader(url)
    docs = loader.load()
    return docs[0].page_content

创建llm并绑定工具

llm = ChatOpenAI(model="gpt-3.5-turbo", max_tokens=4096)
tools = [web_loader]
llm_with_tools = llm.bind_tools(tools)

llm我使用的是OpenAi的gpt3.5，你也可以使用其他模型，另外ChatOpenAI有很多其他参数可调，你可以按自己需求调整。这里最关键的一步，就是需要将llm和工具用bind_tools()绑定在一起，不绑定的话后续llm是不知道有哪些tool可以调用的。

创建prompt

有些同学说prompt不是就一句话的事吗，还需要单独写！我开始也是随意创建了一个prompt，结果调用报错了。原来带有函数调用Agent的prompt是有特殊要求的，其中除了要包含input之外，还需要包含agent_scratchpad占位符，agent_scratchpad的作用就是在prompt留出函数调用中间结果的位置：

prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "你是一个擅长对长文做总结的智能助手，可以精确提炼出长文中的要点。注意，请使用markdown格式返回结果。",
        ),
        ("placeholder", "{chat_history}"),
        ("user", "{input}"),
        MessagesPlaceholder(variable_name="agent_scratchpad"),
    ]
)

创建Agent并执行

agent 可以直接调用LangChain提供的create_tool_calling_agent方法，创建。

agent = create_tool_calling_agent(llm_with_tools, tools, prompt)

agent创建好之后，必须创建agent执行器才可以执行，这里直接实例化AgentExecutor即可。

agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=False)

直接invoke下就可以看到我们想要的结果了~~

agent_executor.invoke(
    {
        "input": "这个链接讲了什么内容？ https://blog.youkuaiyun.com/xindoo/article/details/138356308?spm=1001.2014.3001.5501"
    }
)

{'input': '这个链接讲了什么内容？ https://blog.youkuaiyun.com/xindoo/article/details/138356308?spm=1001.2014.3001.5501',
 'output': '这篇博文介绍了一个命令行工具ShellGPT，它是一个开源软件，可以帮助用户快速生成 shell 命令、代码片段和文档，无需再依赖外部资源（如 Google 搜索）。以下是该文章的主要内容：\n\n- ShellGPT的配置安装：支持 Linux、macOS、Windows 等操作系统，安装简单，只需使用pip安装即可。\n- 函数调用：ShellGPT允许执行系统中的函数，如播放音乐、打开网页或执行 shell 命令。提供了一些高级配置选项。\n- 角色管理：用户可以创建自定义角色，这些角色可以用来生成代码、执行 shell 命令或满足特定需求。用户可以使用命令指定特定的角色执行指令。\n- 聊天功能：用户可以和GPT进行聊天，支持单轮聊天和多轮聊天模式。\n- 写命令并执行：用户可以借助GPT的编码能力写脚本或命令，并执行。\n- 其他功能：文章提及了一些其他细节和功能，如如何通过 API从 0 到 1 构建本地 GPTs、GPT每日面试题等。\n\n总的来说，ShellGPT是一个实用的工具，可以帮助用户在命令行环境下更高效地生成命令和代码，同时还提供了一些高级功能和配置选项。'}

至此我们就完整的创建了一个可以总结网页内容的Agent，完整代码我放Github github.com/xindoo/Lang…上了，有需要可以自取。在这里插入图片描述