Qwen-Agent项目中的LLM模块使用与开发指南

潘俭渝Erik

于 2025-06-04 09:20:01 发布

阅读量230

点赞数 3

本文链接：https://blog.youkuaiyun.com/gitblog_00091/article/details/148419242

版权

Qwen-Agent项目中的LLM模块使用与开发指南

Qwen-Agent Agent framework and applications built upon Qwen, featuring Code Interpreter and Chrome browser extension. 项目地址: https://gitcode.com/gh_mirrors/qw/Qwen-Agent

前言

在Qwen-Agent项目中，LLM（大型语言模型）模块是整个系统的核心组件之一。本文将深入浅出地介绍如何使用Qwen-Agent提供的LLM功能，以及如何基于该框架开发自定义的LLM实现。

LLM模块基础概念

LLM（Large Language Model）即大型语言模型，是当前人工智能领域最热门的技术之一。在Qwen-Agent框架中，LLM模块被抽象为一个统一的接口，可以对接不同的模型服务提供商，如DashScope API、OpenAI API等。

一、LLM模块的使用方法

1.1 直接调用方式

Qwen-Agent提供了统一的LLM调用接口get_chat_model()，开发者可以通过简单的配置即可使用不同的模型服务。

基本配置参数

配置参数以字典形式传入，主要包含以下关键字段：

model_type：指定LLM类型（内置DashScope和OpenAI API可省略）
model：具体模型名称
model_server：模型服务地址
generate_cfg：模型生成参数（如top_p等）

示例代码解析

from qwen_agent.llm import get_chat_model

# 配置DashScope模型服务
llm_cfg = {
    'model': 'qwen-max',
    'model_server': 'dashscope',
    'generate_cfg': {'top_p': 0.8}
}

# 创建LLM实例
llm = get_chat_model(llm_cfg)

# 构造对话消息
messages = [{'role': 'user', 'content': "What's the weather like in San Francisco?"}]

# 定义函数调用规范
functions = [{
    'name': 'get_current_weather',
    'description': 'Get the current weather in a given location',
    'parameters': {
        'type': 'object',
        'properties': {
            'location': {'type': 'string', 'description': 'The city and state'},
            'unit': {'type': 'string', 'enum': ['celsius', 'fahrenheit']}
        },
        'required': ['location']
    }
}]

# 流式调用LLM
for response in llm.chat(messages=messages, functions=functions, stream=True):
    print(response)

这段代码展示了如何：