ValueError: Variable XX/XX does not exist, or was not created with tf.get_variable().

最新推荐文章于 2022-02-15 20:34:12 发布

原创最新推荐文章于 2022-02-15 20:34:12 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#bug #tensorflow

【程序】Bug 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了解决TensorFlow中变量作用域复用时出现的ValueError问题的方法。通过将变量作用域中的'reuse'参数设置为'tf.AUTO_REUSE'，可以避免因未正确创建或重用变量而引发的错误。

部署运行你感兴趣的模型镜像

【报错描述】ValueError: Variable lsi/bias_global does not exist, or was not created with tf.get_variable(). Did you mean to set reuse=tf.AUTO_REUSE in VarScope?

【原因分析】

【解决办法】

# 改前
with tf.variable_scope('lsi', reuse=true)

# 改后
with tf.variable_scope('lsi', reuse=tf.AUTO_REUSE)

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。它提供了一个灵活的平台,用于构建和训练各种机器学习模型

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

InitialHeart2021

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

关于Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope与tf.reset_default_graph() 及终极手段

NLP与推荐算法

08-15

2074

哈喽，我是菜鸟小明哥。全称是百变大魔王探花小明哥GBM，GBM是 Great Boss Man（当大老板的男人）（我又来搬砖啦，未来不再遥远）在训练模型后的同一个脚本中即刻加载训练好的模型，出现这种错误，或者类似的错误，如下 OP_REQUIRES failed at save_restore_v2_ops.cc:184 : Not found: Key ggnn_2/b_in not found in checkpoint 这种错误网上给的基本上是两种解决办法，而实际避开这种方法..

ValueError: Variable ### does not exist, or was not created with tf.get_variable().

小书

01-03

3296

问题： ValueError: Variable global_graph/conv__1/bn/tower_1/global_graph/conv__1/bn/moments/Squeeze/ExponentialMovingAverage/ does not exist, or was not created with tf.get_variable(). Did you mean to se...

参与评论您还未登录，请先登录后发表或查看评论

Variable encoder/E_conv0/w/Adam/ does not exist, or was not created with tf.get_variable(). Did you

qq_33783896的博客

04-04

4128

运行tensorflow程序出错：ValueError: Variable encoder/E_conv0/w/Adam/ does not exist, or was not created with tf.get_variable(). Did you mean to set reuse=None in VarScope?其中详细错误如下图所示：可以看到报错的位置为File "/home/li...

Tensorflow由于版本问题出现的几种错误及解决办法

热门推荐

Tsingzao的博客

12-28

4万+

1、AttributeError: 'module' object has no attribute 'rnn_cell' S：将tf.nn.rnn_cell替换为tf.contrib.rnn 2、TypeError: Expected int32, got list containing Tensors of type '_Message' instead. S：由于tf.conca...

Python报错：Variable conv1/weights does not exist, or was not created with tf.get_variable().

qq_42752888的博客

02-15

1981

Python报错

tensorflow报错解决 Variable conv1/conv1_1/weights already exist, or was not created，

ch_xiaochou的博客

12-25

2236

首先我还是要喷一下坑了我好久的垃圾文章，在大多数与我标题相关的文章当中，99%的文章只写了一句话，在程序的开头加上tf.reset_default_graph(),而且连具体位置都没写，查过stackoverflow之后，才知道应该加载import tensorflow as tf。但是问题来了，应该有不少同学跟我一样的情况，加了之后并没有作用，那么进入正题，在我尝试多次之后，终于发现并解决了...

【Tensorflow练习】： tf.variable_scope、tf.get_variable、tf.get_variable_scope、arg_scope的简单使用示例

缘来如此

04-25

961

首先导入库： #coding=utf-8 #如果出现编码上的问题，可能需要先写上面这行，保存一下文件，再写下面的部分 import tensorflow as tf 创建新变量的一个实例： #对应的参数(name_or_scope, default_name, values=None, ...,reuse=None,...,auxiliary_name_scope=True) #其中，...

tensorflow入门：tf.name_scope，tf.variable_scope、变量共享

yeqiustu的博客

04-03

7458

1. tf.name_scope('scope_name')或tf.name_scope(named_scope)主要与tf.Variable搭配使用；当传入字符串时，用以给变量名添加前缀，类似于目录，如case1所示；当传入已存在的name_scope对象时，则其范围内变量的前缀只与当前传入的对象有关，与更上层的name_scope无关，如case2所示。import tensorflow as...

``` with tf.variable_scope(name, reuse=reuse) as vs: variables = tf.contrib.framework.get_variables(vs)```代码分析

11-12

- 如果变量`v`已经存在并且不在`reuse=True`模式下，尝试获取时会抛出`ValueError`，如引用[1]所示：`Variable foo/v does not exist, or was not created with tf.get_variable()...Did you mean to set reuse=tf....

ValueError: Variable generator/Conv/weights/Adam/ does not exist, or was not created with...

xinxiang7

06-04

944

错误：多GPU设置时出现如下错误：ValueError: Variable E_conv0/w/Adam/ does not exist, or was not created with tf.get_variable(). Did you mean to set reuse=None in VarScope? 原因：代码中有tf.get_variable_scope().reuse_variables()，但却缺少上下文管理的APItf.varibale_scope(). 解决方法：在设置GPU的位

ValueError: Variable E_conv0/w/Adam/ does not exist, or was not created with tf.get_variable().

u011961856的专栏

09-05

9930

运行tf.train.AdamOptimizer()函数,例如下面代码: self.EG_optimizer = tf.train.AdamOptimizer( learning_rate=EG_learning_rate, beta1=beta1 ).minimize( loss=self.loss_EG

tensorflow适用于python版本_浅谈Tensorflow由于版本问题出现的几种错误及解决方法...

weixin_39716921的博客

11-24

378

1、AttributeError: 'module' object has no attribute 'rnn_cell'S：将tf.nn.rnn_cell替换为tf.contrib.rnn2、TypeError: Expected int32, got list containing Tensors of type '_Message' instead.S：由于tf.concat的问题，将tf....

Tensorflow复用计算图 reuse=tf.AUTO_REUSE

alan的博客

05-09

4681

假设有一个场景, 一个结算的函数用于账单的计算, 需要对物品收取5%的税额和10元的运费. 在计算图中我们可以定义以下: def add_tax_and_shipping(price): """Add tax and shipping """ with tf.variable_scope("other_charge") as scope: tax = tf.get_variable("tax", (), dtype=tf.float32,

Tensorflow——关于Variable xxx/Adam does not exist报错原因探究

umbrellalalalala的博客

02-13

3559

ValueError: Variable d_h0_conv/w/Adam does not exist, or was not created with tf.get_variable(). Did you mean to set reuse=tf.AUTO_REUSE in VarScope? 博主对这个错误进行了剖析

tensorflow笔记变量

thormas1996的博客

07-20

1893

用jupyter调试模型的时候，经常会遇到类似的错误 Variable embedding already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope? Variable encoder/embedding does not exist, or was not cr...

tf 变量共享

yuanjiteng的博客

02-28

441

下面内容由各处综合参考而来 TF官方文档链接 https://tensorflow.google.cn/versions/r1.15/api_docs/python/tf 问题1 tf中张量的分类和使用:常量变量占位符明确创建和执行的区别学会各种api使用 https://cloud.tencent.com/developer/news/65965 常量 tf.constant tf.zeros tf.ones tf.linspace tf.range tf.random_ 参数 value

tensorflow:提示找不到Adam或者RMSProp变量，Did you mean to set reuse=None in VarScope？

Double_V的博客

09-05

1万+

错误的完整信息Variable discriminator/conv/weights/RMSProp/does not exist, or was not created with tf.get_variable(). Did you mean to set reuse=None in VarScope?

Tensorflow cifar10_multi_gpu问题：Variable conv1/weights/ExponentialMovingAverage/ does not exist

s_sunnyy的博客

05-18

5493

[root@dl3 cifar10]# python cifar10_multi_gpu_train.py --num_gpus=2 Traceback (most recent call last): File "cifar10_multi_gpu_train.py", line 274, in tf.app.run() File "/usr/lib/python2.7/si

ValueError: Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.

最新发布

04-27

<think>好的，用户遇到了一个ValueError，提示Tokenizer class Qwen2Tokenizer不存在或未被导入。我需要帮他解决这个问题。首先，根据用户提供的引用内容，特别是引用[2]，这个问题通常是由于transformers库的版本过低，导致Qwen2Tokenizer没有被包含进去。因此，升级transformers到4.40.0以上应该是一个解决方案。不过，用户可能已经尝试过升级，但可能还有其他原因。比如，安装过程中可能出错了，或者存在多个Python环境导致版本未正确升级。另外，用户可能没有正确安装对应的模型库，比如Qwen的特定包。例如，有些模型需要额外的安装步骤，比如从源码安装或者使用特定的分支。另外，用户可能在使用SecGPT或其他基于Qwen的项目，这些项目可能有特定的依赖要求。需要确保项目的requirements.txt中的依赖都被正确安装，或者检查是否有环境冲突。此外，缓存问题也可能导致旧版本的tokenizer被加载，所以清除缓存可能有效。也有可能用户正确升级了transformers，但代码中导入的方式有误。比如，可能使用了错误的导入路径或类名，需要检查代码中的导入语句是否正确。例如，正确的导入应该是from transformers import AutoTokenizer，然后使用AutoTokenizer.from_pretrained("Qwen/Qwen2-7B")，而不是直接引用Qwen2Tokenizer，因为后者可能已经被弃用或更名。最后，用户可能需要检查他们的Python版本是否符合要求，比如是否升级到了3.8或更高版本，因为旧版本的Python可能不支持某些库的新版本。同时，确保所有依赖项如torch、sentencepiece等都已正确安装，并且版本兼容。总结下来，解决方案应包括：升级transformers和Python版本，检查安装是否正确，清除缓存，验证代码中的导入方式，安装特定模型依赖，处理环境冲突等。</think>### 解决 `ValueError: Tokenizer class Qwen2Tokenizer does not exist or is not currently imported` 的方法该错误通常是由于 **`transformers` 库版本过低**或 **代码环境未正确配置** 导致。以下是分步解决方案： --- #### 1. **升级 `transformers` 库到兼容版本** Qwen2Tokenizer 需要 `transformers>=4.40.0` 支持。执行以下命令升级： ```bash pip install --upgrade transformers ``` - **验证版本**： ```bash pip show transformers ``` 输出需显示 `Version: 4.40.0` 或更高。 *若升级失败，尝试卸载后重新安装*： ```bash pip uninstall transformers -y && pip install transformers==4.40.0 ``` --- #### 2. **检查Python版本兼容性** Qwen2Tokenizer 依赖较新的Python特性，需确保版本 ≥3.8： ```bash python --version # 检查当前版本 ``` - **升级Python**（若版本过低）： - 使用 `pyenv` 或 `conda` 安装新版本： ```bash conda create -n qwen_env python=3.10 conda activate qwen_env ``` --- #### 3. **安装Qwen2模型的依赖库** 部分场景需额外安装模型源码或依赖： - **从Hugging Face Hub安装模型文件**： ```bash pip install git+https://github.com/huggingface/transformers.git ``` - **安装Qwen官方库**（若适用）： ```bash pip install -U qwen2 ``` --- #### 4. **清除缓存并重新加载** 缓存中可能残留旧版本的分词器配置： ```bash rm -rf ~/.cache/huggingface/transformers/ ``` 在代码中强制重新下载模型： ```python from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-7B", force_download=True) ``` --- #### 5. **检查代码导入方式** 确保代码未直接引用 `Qwen2Tokenizer`（可能已弃用），改用 `AutoTokenizer`： ```python # 正确方式 from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-7B") ``` --- #### 6. **环境冲突排查** - **虚拟环境隔离**：在独立环境中测试（如 `conda` 或 `venv`），避免依赖冲突。 - **依赖一致性**：若使用项目代码（如 SecGPT），检查其 `requirements.txt` 并安装全部依赖： ```bash pip install -r requirements.txt ``` --- ### 验证解决效果运行以下测试代码： ```python from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-7B") print(tokenizer("Hello, Qwen2!")) ``` 若输出类似 `{'input_ids': [...], 'attention_mask': [...]}`，则问题已解决[^2]。 --- ### 常见问题补充 - **网络问题**：下载模型时需访问Hugging Face Hub，国内用户可配置镜像源： ```bash export HF_ENDPOINT=https://hf-mirror.com ``` - **CUDA兼容性**：若使用GPU，确保 `torch` 版本与CUDA驱动匹配。 --- --相关问题-- 1. 如何修复 `ModuleNotFoundError: No module named 'qwen2'`？ 2. 升级 `transformers` 后出现其他依赖冲突怎么办？ 3. 如何为Qwen2模型微调准备数据集？