RWKV Runner 超详细 API 指南

RWKV元始智能

已于 2024-07-05 18:00:17 修改

阅读量1.4k

点赞数 24

文章标签：人工智能语言模型自然语言处理

于 2024-07-05 17:52:22 首次发布

本文链接：https://blog.youkuaiyun.com/rwkvteam/article/details/140215080

版权

大家好，今天我们带来 RWKV Runner API 的详细用法。

本文会列出 RWKV Runner 每一个 API 的作用、请求主体的参考结构、必需字段和可选字段等内容，帮助大家更轻松、更灵活地调用 RWKV Runner 的 API 。

如果你还不了解 RWKV Runner ，我们建议你从 RWKV 中文官网- RWKV Runner 简介开始阅读。

接下来，让我们先从一些 RWKV 模型的基础知识开始吧！

你可能注意到了，很多 RWKV 部署/体验工具都支持调整 Temperature、Top_P、Presence penalty 和 Frequency Penalty 等 RWKV 模型解码参数。

这些主要解码参数对应的效果如下：

参数	效果
`Temperature`	采样温度，就像给模型喝酒，数值越大随机性越强，更具创造力，数值越小则越保守稳定。
`Top_P`	就像给模型喂镇静剂，优先考虑前 n% 概率质量的结果。如设置成 0.1 则考虑前 10% , 生成内容质量更高但更保守。如设置成 1 ，则考虑所有质量结果，内容质量降低但更多样。
`Presence penalty`	存在惩罚，根据“新 token 在至今的文本中是否出现过”来对其进行惩罚。值越大，模型涉及新话题的可能性越高。
`Frequency Penalty`	频率惩罚，根据“新 token 在至今的文本中出现的频率/次数”来进行惩罚。值越大，模型重复相同短语/句子的可能性越低。
`max_tokens`	模型生成文本时的最大 token 数。如果你在对外提供服务，建议限制单个请求的 max_tokens，太高可能导致极端情况下单个响应消耗大量的服务器资源。

续写小说和对话这一类需要创造性的任务，需要高 Temperature + 低 Top_P 的参数组合，可以尝试以下四种参数搭配：

举个例子，续写小说可以尝试将 Temperature 设为 2 （ Temperature 增加会提高文采，但逻辑会下降），然后将 Top_P 设为 0.1 ~ 0.2 （Top_P 越低，逻辑能力越强），这样生成的小说内容逻辑和文采都很好。

完成相对机械的任务，例如材料问答、文章摘要等，则可将参数设为：

举个例子，如果你正在执行像关键词提取之类的机械任务，不需要模型进行任何开放性思考，则可以将 Temperature 设为 1 ，Top_P、Presence penalty、Frequency Penalty 都设为 0 。

现在，你应该对 RWKV 模型最主要的四个解码参数有所了解了，现在我们开始了解 RWKV Runner 的所有 API 具体用法！

RWKV Runner 的续写 API 分为聊天续写和基础续写两种，其中聊天续写 API 拥有“role - 角色”参数，因此支持角色扮演等进阶任务。

v1/chat/completions 和 /chat/completions 是相同的 API，用于 RWKV 的聊天续写模式，也就是和模型对话。

必需参数

“messages”: 消息对象列表，包含两个元素：
- “content”: 提供给模型的 prompt ，即对话内容
- “role”: 扮演的角色名称，可以从"user", “assistant” 和 "system"选一个。

因此，聊天 API 的基础请求主体如下：

{
    
    "messages": [ 
    {
    
        "content": "hello", 
        "role": "user" 
    } 
    ] 
} 
<