RWKV-CHN模型部署教程

一、模型介绍

RWKV 语言模型（用纯 100%RNN 达到 GPT 能力，甚至更强），该项目旨在通过为您自动化所有事情来消除使用大型语言模型的障碍。您需要的是一个只有几兆字节的轻量级可执行程序。此外，该项目还提供了一个接口兼容 OpenAI API，这意味着每个 ChatGPT 客户端都是一个 RWKV 客户端。

• 您可以在服务器上部署 backend-python，并仅将此程序用作客户端。将您的服务器地址填写在“设置”的 API URL中。
• 如果您正在部署和提供公共服务，请通过 API 网关限制请求大小，以防止提交过长的提示导致资源使用过多。此外，请根据您的实际情况 限制max_tokens 请求情况： https://github.com/josStorer/RWKV-Runner/blob/master/backend-python/utils/rwkv.py#L567，默认设置为 AS LE=102400，在极端情况下，这可能会导致个体响应的大量资源消耗。
• 默认配置已启用自定义 CUDA 内核加速，速度更快，消耗的 VRAM 更少。如果您遇到兼容性问题（输出乱码），进入配置页面，选择关闭 ，或尝试升级 GPU 驱动程序。Use Custom CUDA kernel to Accelerate
• 如果 Windows Defender 声称这是病毒，您可以尝试下载 v1.3.7_win.zip 并让它自动更新到最新版本，或将其添加到受信任的列表。Windows Secu