text-generation-webui v3.1版本发布：性能优化与功能增强

text-generation-webui v3.1版本发布：性能优化与功能增强

text-generation-webui A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models. 项目地址: https://gitcode.com/gh_mirrors/te/text-generation-webui

text-generation-webui是一个基于Web界面的文本生成工具，它支持多种大语言模型加载方式，为用户提供了便捷的交互式体验。该项目通过集成多种后端引擎，使得用户可以在不同硬件环境下高效运行各类语言模型。

核心功能升级

推测解码技术显著提升性能

v3.1版本最引人注目的改进是在llama.cpp加载器中引入了推测解码（speculative decoding）技术。这项创新技术通过使用一个小型"草稿模型"来预测可能的token序列，再由主模型进行验证，可以大幅提升文本生成速度。

在实际测试中，使用google_gemma-3-27b-it-Q8_0.gguf作为主模型，配合google_gemma-3-1b-it-Q4_K_M.gguf作为草稿模型，生成速度从24.17 tokens/秒提升至45.61 tokens/秒，增幅高达88.7%。这种性能提升会根据具体硬件配置和模型组合有所不同，但普遍能带来显著的速度改善。

内存与计算优化

新版本对llama.cpp的默认设置进行了调整，避免了在消费级硬件上可能出现的锁死问题。这一改动不仅提高了系统稳定性，还在大多数情况下带来了文本生成速度的小幅提升。

ExLlamaV3加载器新增了KV缓存量化功能，这有助于减少显存占用，使得更大模型能够在有限显存的GPU上运行。

架构改进与功能增强

上下文管理优化

llama.cpp加载器新增了StreamingLLM功能（通过--streaming-llm参数启用），这项技术可以避免在上下文长度填满时完全重新处理整个提示，特别适合角色扮演等长对话场景。它能有效重用部分KV缓存，减少计算开销。

项目还引入了统一的--ctx-size参数，允许用户在所有加载器中一致地设置上下文大小，简化了配置流程。

用户界面改进

Web界面进行了多项用户体验优化：

• 新增可折叠的"思考步骤"区块，使对话更加结构化
• 将'instruct'模式设为默认聊天模式
• 在空聊天历史时显示欢迎信息
• 优化了多部分GGUF文件的显示方式

安全性与架构重构

安全增强

v3.1实现了主机头验证机制，当UI/API在localhost上运行时（默认配置）会进行严格验证。这是重要的安全改进，建议所有用户尽快更新到此版本。

项目结构重构

项目进行了重大目录结构调整，将所有用户数据（包括模型、角色配置、预设和保存的设置）统一迁移到text-generation-webui/user_data目录下。这一变化使得：

• 未来便携版更新只需移动user_data目录即可
• 项目结构更加清晰有序
• 便于用户管理各类资源

需要注意的是，这是一项破坏性变更，用户需要手动将原有models、presets等目录内容迁移到新的user_data相应子目录中。

后端引擎更新

项目集成的各后端引擎均已更新至最新版本：

• llama.cpp更新至最新提交，支持更多新特性
• ExLlamaV3更新至最新版本，性能更优
• ExLlamaV2升级至0.2.9版

便携版本支持

v3.1继续提供多种便携版本，支持不同硬件配置：

• Windows/Linux平台提供CUDA 12.4/11.7（NVIDIA GPU）、Vulkan（AMD/Intel GPU）和纯CPU版本
• macOS平台提供Apple Silicon和Intel CPU版本

这些便携版无需安装，解压即可使用，特别适合快速部署和测试。

text-generation-webui v3.1通过多项技术创新和优化，为用户提供了更高效、更安全的文本生成体验，特别是在性能关键型应用场景中表现突出。无论是开发者还是终端用户，都能从这个版本中获得显著的体验提升。

text-generation-webui A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models. 项目地址: https://gitcode.com/gh_mirrors/te/text-generation-webui