FastChat

原创 已于 2023-09-11 17:44:32 修改 · 2.4k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#FastChat #LangChain #LLM

于 2023-09-11 14:57:04 首次发布

在这里插入图片描述

Fast Chat是一个用于训练/部署和评估基于大型语言模型的聊天机器人的开发平台。其核心功能包括：

  • 最先进模型的权重/训练代码和评估代码(例如Vicuna/FastChat-T5)
  • 基于分布式多模型的服务系统，具有Web界面和与OpenAI兼容的RESTful API。

安装

在这里插入图片描述

pip install fschat

模型权重

支持的模型

https://github.com/lm-sys/FastChat/blob/main/docs/model_support.md
在这里插入图片描述

如何支持新模型

在这里插入图片描述

model_registry.py

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

conversation.py

  • ChatGLM default template & ChatGLM2 default template
    在这里插入图片描述
    在这里插入图片描述

  • ChatGPT default template
    在这里插入图片描述

  • Baichuan-13B-Chat template
    在这里插入图片描述
    在这里插入图片描述

  • Qwen-chat default template
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • llama2 template
    在这里插入图片描述
    在这里插入图片描述

model_adapter.py

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • PeftModelAdapter
    在这里插入图片描述

  • ChatGLMAdapter
    在这里插入图片描述

  • ChatGPTAdapter
    在这里插入图片描述

  • BaichuanAdapter
    在这里插入图片描述

  • Llama2Adapter
    在这里插入图片描述

  • QwenChatAdapter
    在这里插入图片描述

使用命令行界面进行推理

python -m fastchat.serve.cli --model-path xxx

使用Web GUI进行服务

使用Web UI进行服务，需要提供三个主要组件：与用户交互的Web服务器/托关一个或多个模型的模型工作者，协调Web服务器和模型工作者的控制器。

  • 启动控制器
    该控制器管理分布式工作者

    python -m fastchat.serve.controller

  • 启动模型工作者

    python -m fastchat serve.model_worker --model-path xxx

    等带进程完成加载模型并显示"Uvicorn running on …"。模型工作者将向控制器器注册自己。
    为了确保您的模型工作者已正确连接到控制器，请使用以下命令发送测试消息，将看到一个简短的输出。

    python -m fastchat.serve.test_message --model-name xxx

  • 启动动服务器

    python -m fastchat.serve.gradio_web_server

    这是用户将于与之交互的用户界面。
    安装这些步骤，将能够使用Web UI提供您的模型。可以打开浏览器并与模型聊天。如果没有显示出来，将暂时重新启动Gradio Web服务器。

  • 高级功能
    可以将 多个模型工作者注册到单个控制器，这可用于提高模型的吞吐量或同时提供多个模型。在这种情况下，需要为不同的模型分配不同的GPU和端口号。

    # worker 0
CUDA_VISIBLE_DEVICES=0 python -m fastchat.serve.model_worker --model-path xxx --controller http://localhost:21001 --port 31000 --worker http://localhost:31000
# worker 1
CUDA_VISIBLE_DEVICES=1 python -m fastchat.serve.model_worker --model-path xxx --controller http://localhost:21001 --port 31001 --worker http://localhost:31001

还可以启动一个包含Chatbot Arena选项卡的多标签Gradio服务器。

python -m fastchat.serve.gradio_web_server_multi

应用程序编程接口API

兼容OpenAI的RESTful API和SDK

FastChat为其支持的模型提供了兼容OpenAI的API，因此可以将FastChat作为OpenAI API的本地替代品使用。FastChat服务器与openai-python库和cURL命令兼容。

https://github.com/lm-sys/FastChat/blob/main/docs/openai_api.md

在这里插入图片描述

  • RESTful API Server
    在这里插入图片描述
  • OpenAI Official SDK
    在这里插入图片描述
  • cURL
    在这里插入图片描述

Hugging Face 生成API

https://github.com/lm-sys/FastChat/blob/main/fastchat/serve/huggingface_api.py
在这里插入图片描述

LangChain集成

https://github.com/lm-sys/FastChat/blob/main/docs/langchain_integration.md
LangChain是一个库，它通过利用大型语言模型（LLM）并使其能够与其它计算或知识源组合起来促进应用程序的开发。FastChat兼容OpenAI的API服务器可以无缝的使用Langchain和开放模型。

  • 启动RESTful API服务器
    在这里插入图片描述

  • 设置OpenAI 环境
    在这里插入图片描述

  • 尝试本地LangChain
    在这里插入图片描述

评估

在这里插入图片描述
https://github.com/lm-sys/FastChat/tree/main/fastchat/llm_judge

安装

在这里插入图片描述

查看预先生成的模型答案和判断

在这里插入图片描述
https://huggingface.co/spaces/lmsys/mt-bench
在这里插入图片描述

MT工作台

  • 在MT-bench上评估模型
    在这里插入图片描述

  • 其它评分选项
    在这里插入图片描述

  • 如何得到GPT-3.5/GPT-4/Claude的答案
    在这里插入图片描述

  • 绘图
    在这里插入图片描述

协议计算

在这里插入图片描述

数据集

  • Chatbot Arena对话数据集
    https://huggingface.co/datasets/lmsys/chatbot_arena_conversations
    在这里插入图片描述

  • MT-bench人工注释数据集
    https://huggingface.co/datasets/lmsys/mt_bench_human_judgments
    在这里插入图片描述

微调

数据

在这里插入图片描述

  • sharegpt_zh_27k.json
    在这里插入图片描述
  • dummy_conversation.json
    https://github.com/lm-sys/FastChat/blob/main/data/dummy_conversation.json
    在这里插入图片描述

代码和超参数

在这里插入图片描述

使用本地GPU微调Vicuna-7B

在这里插入图片描述
https://github.com/lm-sys/FastChat/blob/main/docs/training.md
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

参考资料
FastChat——一个用于训练、部署和评估基于大型语言模型的聊天机器人的开放平台
lm-sys/FastChat

详解FastChat部署大模型API的实战教程
herosunly的博客
04-27 20万+
本文主要介绍了使用FastChat部署大模型API，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型文件下载 3. 运行API 3.1 一键启动 3.2 一键关闭 3.3 测试API 4. vllm API 4.1 一键启动 4.2 一键关闭 4.3 测试API
大模型实战--FastChat一行代码实现部署和各个组件详解
pingguocu3的博客
10-05 2175
使用FastChat部署大模型流程图假如你已经部署一个Llama3.1-8B的模型，以启动OpenAI API服务为例,各个组件之间的关系Controller负责管理分布式模型实例# 默认端口21001Model Worker是大模型服务实例，它在启动时向Controller注册# 默认端口21002。
【亲测免费】 FastChat：开源的大型语言模型聊天机器人平台
gitblog_07490的博客
09-13 746
FastChat 是一个开源平台，专门用于训练、部署和评估基于大型语言模型（LLM）的聊天机器人。该项目主要使用 Python 作为编程语言，并且依赖于 PyTorch 等深度学习框架来实现其功能。 ## 项目核心功能 FastChat 的核心功能包括： 1. **模型训练和评估**：提供最先进模型的训练和评估代码，例如 Vicuna 和 MT-Bench。 2. **分布式多模型服务系统*...
FastChat框架完整教程：从入门到精通
最新发布
dingyuana的专栏
10-15 610
FastChat是一个开源平台，专为训练、服务与评估对话式大模型而设计。该平台由加州大学伯克利分校和CMU共建的LMSYS实验室开发，是前文提到的基于vLLM推理引擎后端的Chatbot Arena打擂平台的开源版本。FastChat在GitHub上的官方仓库为，项目旨在提供一个全面的解决方案，用于大型语言模型聊天机器人的开发与应用。Controller（控制器）负责协调整个系统管理模型工作器的注册和任务分发监控系统状态和负载均衡Model Worker（模型工作器）实际运行大语言模型的组件。
本地部署 FastChat
engchina的专栏
06-30 8420
本地部署 FastChat
Fastchat：基于fastapi构建大模型加载服务
qq128252的博客
09-08 1万+
FastChat是一个开放平台，旨在为基于大型语言模型的聊天机器人的训练、服务和评估提供便捷支持。其主要特点包括： 提供最先进模型（如Vicuna）的权重、训练代码和评估代码。 支持分布式多模型服务系统，配备Web用户界面以及与OpenAI兼容的RESTful API。
FastChat-Vicuna开放，媲美ChatGPT的90%能力——从下载到安装、部署
热门推荐
蒋含竹的博客
04-08 3万+
最近ChatGPT非常火，引爆了整个商业市场以及NLP学术界，但是ChatGPT很多东西都不开放，你也没法个人部署、研究于是很多大语言模型横空出世，在开放的大语言模型中，最近我认为效果很不错的是FastChat上的Vicuna，基于LLaMA做了二次调参训练，据官方称能达到ChatGPT的90%的能力。（具体能否达到这个值，可以直接去他们的Demo上试试）相关链接GitHub地址:Demo地址:博客与相关说明:注意安装教程时间为2023年4月8日2023年4月21日。
FastChat模型 - 号称媲美ChatGPT的90%能力-安装及部署.zip
06-11
《FastChat模型：媲美ChatGPT的90%能力——安装与部署详解》 FastChat模型是一款在人工智能领域备受瞩目的对话生成模型，它以其高效、智能的特点，被誉为能够达到ChatGPT大约90%的能力。对于那些对自然语言处理...
FastChat模型 - 号称媲美ChatGPT的90%能力-安装及部署.docx
06-11
FastChat 模型安装及部署指南 FastChat 模型是一种号称媲美 ChatGPT 的 90% 能力的语言模型，具有强大的自然语言处理能力。在本文中，我们将详细介绍 FastChat 模型的安装及部署过程。 安装前的准备 在安装 ...
FastChat-Vicuna的下载安装和部署，用不了ChatGPT就用这个吧
05-07
标题中的“FastChat-Vicuna”是一款开源的对话生成模型，它是针对无法访问或使用ChatGPT的人群的一个替代选项。FastChat-Vicuna旨在提供类似ChatGPT的功能，允许用户进行自然语言交互，用于聊天、问答、文本生成等...
FastChat-Vicuna下载安装和部署，代替ChatGPT.zip
05-07
《FastChat-Vicuna：替代ChatGPT的人工智能聊天工具》 FastChat-Vicuna是一款新兴的人工智能聊天工具，旨在提供与ChatGPT类似的交互体验，但可能具有更优化的功能和性能。随着人工智能技术的飞速发展，这类工具在...
FastChat-开源
05-01
FastChat是本地网络中的一种小型且易于使用的聊天程序。 它与udp协议一起使用。
盘点8类AI大模型：对话和语言处理、视频、图像、数字人、搜索、语音、音乐....
m0_56255097的博客
07-22 4018
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
用通俗易懂的方式讲解大模型：使用 FastChat 部署 LLM 的体验太爽了
2301_78285120的博客
12-30 1万+
FastChat[2]是一个用于训练、服务和评估基于大型语言模型的聊天机器人的开放平台。其核心功能包括：最先进 LLM 模型的权重、训练代码和评估代码。带有 WebUI 和与 OpenAI 兼容的 RESTful API 的分布式多模型服务系统。其实 FastChat 的功能非常强大，今天介绍的部署功能只是冰山一角，如果你对 FastChat 感兴趣的话，可以去官方仓库查看更多的信息。今天的文章就到这里，如果在部署的过程中遇到问题，欢迎在评论区讨论。
fastchat vllm qwen2.5推理部署
沐霜枫叶
12-23 453
【代码】fastchat vllm qwen2.5推理部署。
本地化部署大模型方案二：fastchat+llm(vllm)
huiguo_的博客
01-23 1万+
FastChat 是一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。FastChat 为 Chatbot Arena ( https://chat.lmsys.org/ ) 提供支持，为 50 多名法学硕士提供超过 600 万个聊天请求。Arena 从并列的 LLM 比赛中收集了超过 10 万个人投票，编制了在线LLM Elo排行榜。最先进模型的训练和评估代码（例如，Vicuna、MT-Bench）。
【GitHub开源项目实战】FastChat 实战解析：多模型 LLM Chat API 服务器构建与推理部署全流程指南
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-18 1409
FastChat 是由 LM-SYS 团队开源的轻量级大语言模型（LLM）服务框架，旨在提供一个与 OpenAI API 完全兼容的多模型 Chat 接口服务平台。该框架原生支持多个热门模型（如 LLaMA、ChatGLM、Qwen、Mistral 等），并可搭配 vLLM 实现高效推理。项目提供完整的 Chat 服务、管理后端、Web UI 和 CLI 工具，广泛应用于模型微调测试、多模型对比评估、企业内部大模型服务构建场景。本文将系统梳理 FastChat 的架构设计、部署流程与性能优化实践，并以真实案
[大模型]Qwen1.5-7B-Chat FastApi 部署调用
FL1623863129的博客
04-11 2138
在 Autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch–>2.0.0–>3.8(ubuntu20.04)–>11.8（11.3 版本以上的都可以）。接下来打开刚刚租用服务器的 JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行演示。pip 换源加速下载并安装依赖包。
fastchat加速
03-14
### 关于FastChat性能优化的方法 为了提升FastChat的速度和性能，可以从以下几个方面入手： #### 1. 使用高效的推理框架 VLLM 是一种能够显著提高大语言模型推理效率的工具[^5]。通过连续批处理（Continuous Batching），它可以有效减少 GPU 的闲置时间，从而大幅加快推理速度。如果 FastChat 集成了 VLLM，则可以通过调整其配置来进一步优化性能。 #### 2. 参数高效微调 (PEFT) 参数高效微调技术可以帮助降低模型大小的同时保持较高的精度[^4]。对于 FastChat 而言，在部署阶段应用 PEFT 可以减小模型体积，进而减少内存占用并加速加载过程。具体来说，可以尝试使用 Hugging Face 提供的 PEFT 库来进行适配工作。 #### 3. 模型量化 模型量化是一种压缩神经网络权重表示的技术，通常会将浮点数转换成更低位宽的数据类型（比如 int8 或 float16）。这种做法不仅减少了存储需求，还提升了计算吞吐量。在 FastChat 中启用量化功能可能会带来明显的性能增益[^2]。 ```python from transformers import AutoModelForCausalLM, BitsAndBytesConfig bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_use_double_quant=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype="float16" ) model = AutoModelForCausalLM.from_pretrained("your_model_path", quantization_config=bnb_config) ``` #### 4. 并行化策略 合理设计多卡分布式训练或者推断流程也是改善系统表现的重要手段之一。例如，可以考虑采用张量切片、流水线并行等方式充分利用集群资源[^1]。 #### 5. 缓存机制 引入缓存层能有效缓解重复请求带来的压力。当用户发送相似问题时，可以直接返回之前已经生成过的答案而无需再次执行完整的解码操作[^3]。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值