gpt接口新增配额控制

BlackTurn

已于 2023-05-20 16:31:18 修改

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

文章标签： gpt redis 数据库

于 2023-05-19 10:37:53 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_45014721/article/details/130760575

工作办公专栏收录该内容

107 篇文章 ¥299.90 ¥399.90

订阅专栏

超级会员免费看

本文介绍了如何实现GPT接口的配额控制，包括全局和用户自定义限额，以及如何利用Redis存储和更新用户消费的token数量。在Redis中，分别存储用户配置的限额和已使用的token，通过key-value结构和设置过期时间来管理配额，确保接口请求的拦截和放行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

工作内容，不对外开放

场景：
用户使用gpt时会消耗token，我们要求能够在某个地方配置gpt限额，gpt限额有全局限额也有个人配置的限额，
先配置一个默认的全局的限额（所有用户gpt3.5每个月不能超过1000，每天不能超过500，每个小时不能超过100），
用户可以配置用户的限额（该用户gpt3.5每个月不能超过900，每天不能超过400，每个小时不能超过900），
用户配置了限额就不使用默认的限额了，限额还能配置生效时间比如明天开始生效。
gpt网关要拦截/v2p/rest/invoke/openai接口，然后比较限额，如果用户没有额度了，就拦截该请求，否则放行。
已知网关不能操作数据库，所以只能用redis比对，网关处比对限额发现该请求可以放行时，先放行，然后拦截响应获取该请求又消耗了30个token，然后网关处就需要发送一个redis队列让gpt服务端去更新token使用量。
怎么做？redis中怎么存？

首先，用户配置的配额和生效时间肯定要存到redis中
①redis的key:“hgpt:token_quota:config:” + userId; （userId就是用户id）
②redis的value:一段Json（包含生效时间+配额）