Transformers 解决None of PyTorch, TensorFlow ＞= 2.0

博主介绍： 大家好，我是Yuperman，互联网宇宙厂经验，17年医疗健康行业的码拉松奔跑者，曾担任技术专家、架构师、研发总监负责和主导多个应用架构。

近期专注： DeepSeek应用，RPA应用研究，主流厂商产品使用，开源RPA 应用等

技术范围： 长期专注java体系，软件架构，DDD，多年java、golang、.Net、redis、nginx、tomcat、mysql、oracle等经验

业务范围： 对传统业务应用技术转型，从数字医院到区域医疗，从院内业务系统到互联网医院及健康服务，从公立医院到私立医院都有一些经历及理解

*** 为大家分享一些思考与积累，欢迎持续关注公众号：【火星求索】 ***

DeepSeep Token 用量计算，安装deepseek_v3_tokenizer.zip压缩包中的代码来运行 tokenizer，以离线计算一段文本的 Token 用量。

token 是模型用来表示自然语言文本的基本单位，也是我们的计费单元，可以直观的理解为“字”或“词”；通常 1 个中文词语、1 个英文单词、1 个数字或 1 个符号计为 1 个 token。

一般情况下模型中 token 和字数的换算比例大致如下：

• 1 个英文字符 ≈ 0.3 个 token。
• 1 个中文字符 ≈ 0.6 个 token。

但因为不同模型的分词不同，所以换算比例也存在差异，每一次实际处理 token 数量以模型返回为准，您可以从返回结果的 usage 中查看。

1.问题描述

使用pip命令安装成功了，运行python3 deepseek_tokenizer.py，提示如下错误

None of PyTorch, TensorFlow >= 2.0, or Flax have been found. Models won't be available and only tokenizers, configuration and file/data utilities can be used.

2.问题原因

1、所在环境没有安装tensorflow

2、tensorflow和transformer用了不同的安装方法。例如我的tensorflow是在anaconda prompt装的，但是装transformers却用了cmd

3.解决方法：

先把装好的transformers卸载（在cmd中pip uninstall transformers），再打开anaconda prompt重新装一遍）

pip3 uninstall transformers --break-system-packages

具体安装方式及代码：
1. 已经安装Anaconda后，打开anaconda prompt
2. 输入pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers
3. 检测是否安装成功（例如输入import transformers是否会报错）

欢迎点赞、转发、评论！更多信息关注公众号【火星求索】，可获取相关资料。