解决one-api 启动不了,报错https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken

最新推荐文章于 2025-04-10 16:36:13 发布

置顶起个名字总是说已存在

最新推荐文章于 2025-04-10 16:36:13 发布

阅读量1.6k

点赞数 4

分类专栏： fastgpt oneapi 文章标签：机器学习人工智能 YOLO 开源

本文链接：https://blog.youkuaiyun.com/baidu_25691461/article/details/144886860

版权

fastgpt 同时被 2 个专栏收录

3 篇文章

订阅专栏

oneapi

1 篇文章

订阅专栏

一、问题
在部署one-api,启动的时候或者使用docker-compose.yml启动时,报错

Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp 57.150.97.129:443:

二、解决方法
原因:早上上面问题的原因主要就是部署oneapi的机器可能无法联网或者无法访问对应的地址;
解决:我们使用本地部署tiktoken的方式,
1.首先使用https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken
在浏览器下载,下载后将文件命名为
9b5ad71b2ce5302211f9c61530b329a4922fc6a4
注意:没有后缀名
2.将9b5ad71b2ce5302211f9c61530b329a4922fc6a4文件传到服务器和docker-compose.yml同级位置目录
在这里插入图片描述
3.然后将docker-compose.yml文件进行修改在oneapi下 volumes:后增加

- ./9b5ad71b2ce5302211f9c61530b329a4922fc6a4:/tmp/data-gym-cache/9b5ad71b2ce5302211f9c61530b329a4922fc6a4

在这里插入图片描述
4.重启docker就完成

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

起个名字总是说已存在

关注关注

4
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

cl100k_base.tiktoken 本地化

gaohongfeng1的博客

02-06

734

#参考地址：https://stackoverflow.com/questions/76106366/how-to-use-tiktoken-in-offline-mode-computer。##下载文件https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 到本地。##这块浪费我大量时间，才弄清楚对什么东东进行sha1编码，后来者如果看到这块很简单，别忘了前人栽树后人乘凉！##将上面文件重命名，用于本地加载。

100%解决调用OpenAI api报错：HTTPSConnectionPool(host=‘openaipublic.blob.core.windows.net‘, port=443)

小新

11-27

3935

首先，让我们从远程计算机上的源中获取 tokenizer blob URL。如果我们跟踪该函数，我们会发现它调用了一个函数，该函数具有每个编码器的 blob URI。确定正确的函数，然后打印源。注意：对于旧版本的 tiktoken，步骤 1 会给你一个 Azure blob URI（比如）;的调用，该调用指示需要重命名文件。这不是 tiktoken 文件的完整路径，只是包含该文件的文件夹的路径。现在，导航到本地计算机上的 blob URL 进行下载。的最新源，并获取仅用于下载目的的非 Azure 链接。

参与评论您还未登录，请先登录后发表或查看评论

docker 里 oneapi 启动失败：failed to get gpt-3.5-turbo token encoder

qq_51047851的博客

08-25

1961

无法获取 gpt-3.5-turbo 令牌编码器：获取“https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken”：tls：无法验证证书：x509：证书无权签署其他证书。

FastGPT连接oneapi报错：Connection error.后续：真正的原因

weixin_42118737的博客

05-07

1937

FastGPT连接oneapi报错：Connection error.后续

离线环境使用tiktoken找不到cl100k_base.tiktoken

最新发布

qq_40224400的博客

04-10

539

tiktoken是OpenAI开发的开源的快速token切分器。首先我们需要了解的是GPT等大模型，并不是直接将字符串输入大模型，第一步需要做的就是token切分编码。文本切分编码是十分有用的，因为GPT都是以token的形式来阅读文本的。了解文本中的token数量，可以告诉你字符串是否太长而超出了模型处理能力。encoder = tiktoken.get_encoding("cl100k_base") # 加载 cl100k_base 编码器。

one-api采用docker-compose离线部署找不到cl100k_base.tiktoken解决办法

wanh的博客

05-19

2626

（1）先到网上下载https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken，复制到离线主机某个目录：path/to/file。- SQL_DSN=oneapi:123456@tcp(db:3306)/one-api # 修改此行，或注释掉以使用 SQLite 作为数据库。# - FRONTEND_BASE_URL=https://openai.justsong.cn # 多机部署时从节点取消注释该行。

关于cl100k_base.tiktoken报错问题

goubi4056的博客

10-08

1061

cl100k_base.tiktoken报错问题

【亲测有用】离线安装tiktoken,ConnectionError: HTTPSConnectionPool(host=‘openaipublic.blob.core.windows.net‘

不负如来不负卿

12-05

1063

微信公众号：leetcode_algos_life，代码随想随记小红书：412408155type=blog ，代码随想随记抖音【暂未开始，计划开始】：tian72530，代码随想随记知乎【暂未开始，计划开始】：代码随想随记。

oneapi离线在docker部署时提示failed to get gpt-3.5-turbo token encoder

盛世芳华

05-24

2690

项目上线正式服务器后，发现one-api容器无法启动，日志发现其无限重启，错误原因是failed to get gpt-3.5-turbo token encoder，看来它肯定是需要联网下载数据，我的正式服务器是无法上网的。默认程序启动时会联网下载一些通用的词元的编码，如：gpt-3.5-turbo，在一些网络环境不稳定，或者离线情况，可能会导致启动有问题。可通过配置TIKTOKEN_CACHE_DIR设置缓存目录，由于我用的是docker，那么干脆把文件映射到对应的目录即可。

AutoGPT 安装指南，使用避坑要点

热门推荐

小张Python

04-16

1万+

最近， AIGC 中最火的可能就当属于 AutoGPT 了吧，首先简单介绍一下AutoGPT 背景AutoGPT 是基于 ChatGPT API 接口开发，项目首推 GPT-4 模型，但 OpenAI 账号 API 只有 gpt-3.5-turo 权限同样也可以使用。

Qanything-docker-compose yaml文件（内含GPU 配置，备用学习）

消极的人永远是对的，积极的人选择勇往直前

07-05

721

【代码】Qanything-docker-compose yaml文件（内含GPU 配置，备用学习）

：python - 如何在离线模式下使用 tiktoken

03-17

wget https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken -O cl100k_base.tiktoken ``` 此命令会将所需的 `.tiktoken` 文件存储至当前目录[^1]。 #### 修改读取函数以适应离线场景通过...

OpenAI的编码方式Tiktoken

choose_c的博客

07-31

2185

以上的不一致问题只会出现在messages中的message包含了name关键, 也就是说在使用function这个role的时候才会发生，并且每添加一个有function的message，最后的token差距增加2。所以可以看出问题应该是出现在role为function的message环节的计算上，我猜测是gpt-3.5-turbo-0613模型使用了和gpt-3.5-turbo-0301一样的tokens_per_name，使用了-1而不是1，所以会出现2的差距。

tiktoken离线加载bpe文件 cl100k_base

Qiming的博客

08-28

3155

tiktoken离线加载bpe文件cl100k_base

HTTPSConnectionPool(host=‘openaipublic.blob.core.windows.net‘, port=443):

qq_44144622的博客

09-04

2636

在使用langchain做长文本总结任务是已经使用daili，key也可用，在调用get_num_tokens()时出现。具体原因看urllib官方的更新文档（我也看不太明白，😅，就不多做解释了）这个原来是1.26.***版本换成合适的1.25.**版本及可。

oneapi添加ollama后，测试报错

11-22

1171

java程序员3 人赞同了该文章。

oneapi 离线报错 failed to get gpt-3.5-turbo token encoder

12-10

517

查看/tmp/data-gym-cache/目录下有没有一个叫9b5ad71b2ce5302211f9c61530b329a4922fc6a4的文件，不同版本可能对应的文件名不同。把这个文件复制出来，然后放在离线服务器的docker-compose.yml文件旁边，然后修改docker-compose.yml，将这个文件映射进去就行。默认程序启动时会联网下载一些通用的词元的编码，如：gpt-3.5-turbo，在一些网络环境不稳定，或者离线情况，可能会导致启动有问题。