tensorflow 1.4 latest_checkpoint bug

最新推荐文章于 2022-05-09 02:57:41 发布
原创 最新推荐文章于 2022-05-09 02:57:41 发布 · 3.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一个用于查找最近保存的检查点文件的方法。该方法通过指定的目录来定位TensorFlow训练过程中保存的最新模型检查点路径。文章详细解释了如何处理V1和V2两种不同格式的检查点文件。
def latest_checkpoint(checkpoint_dir, latest_filename=None):
  """Finds the filename of latest saved checkpoint file.

  Args:
    checkpoint_dir: Directory where the variables were saved.
    latest_filename: Optional name for the protocol buffer file that
      contains the list of most recent checkpoint filenames.
      See the corresponding argument to `Saver.save()`.

  Returns:
    The full path to the latest checkpoint or `None` if no checkpoint was found.
  """
  # Pick the latest checkpoint based on checkpoint state.
  ckpt = get_checkpoint_state(checkpoint_dir, latest_filename)
  #print("declanzane test")
  #print(ckpt)
  #print(ckpt.model_checkpoint_path)
  if ckpt and ckpt.model_checkpoint_path:
    # Look for either a V2 path or a V1 path, with priority for V2.
    v2_path = _prefix_to_checkpoint_path(ckpt.model_checkpoint_path,
                                         saver_pb2.SaverDef.V2)
    #print("v2_path :", v2_path)
    v1_path = _prefix_to_checkpoint_path(ckpt.model_checkpoint_path,
                                         saver_pb2.SaverDef.V1)
    #print("v1_path :", v1_path)
    return ckpt.model_checkpoint_path # added by declanzane
    if file_io.get_matching_files(v2_path) or file_io.get_matching_files(
        v1_path):
      return ckpt.model_checkpoint_path
    else:
      logging.error("Couldn't match files for checkpoint %s",
                    ckpt.model_checkpoint_path)
  #return None
      return None


declanzane
关注
震惊！大数据分布式计算竟隐藏着这些不为人知的秘密
Java大师兄的博客
10-24 677
分布式计算要解决的根本问题如何在“不可靠的节点”与“不可靠的网络”上，完成“可靠的大规模计算”。节点故障：服务器宕机、进程崩溃（据统计，大型集群的节点故障率约为1%/年）；网络故障：延迟、丢包、分区（Network Partition，即集群中的节点被分割成两个无法通信的子集）；数据不一致：多个节点存储同一数据的副本，同步延迟导致的状态差异。所有分布式系统的设计，都是围绕“解决不可靠性”展开的——比如副本机制解决节点故障，一致性协议解决数据不一致，容错机制解决任务失败。选择计算框架的核心依据是。
tensorflow中的检查点checkpoint详解（二）——以tensorflow1.x 的模型保存与恢复为主
MIss-Y的博客
05-06 3万+
前言：前面专门讲解了一篇关于tensorflow2.x的文件保存，主要是介绍了两种模式，一个是keras的h5文件，一个是tensorflow专用的SavedModel（.pb文件）文件，详细请参考： 详解tensorflow2.0的模型保存方法（一） 本文会专门介绍tensorflow中的checkpoint，以及在tensorflow2.x以及tensorflow1.x中如何保存成chec...
python报错 latest_checkpoint() missing 1 required positional argument: ‘checkpoint_dir‘
m0_56331995的博客
04-08 1145
朋友们，我用lstm的时候定义了一个函数，用的时候就这样报错了，说是缺少位置参数，孩子没检查出来呜呜呜呜大佬们救命
python报错：Missing 1 required positional argument
weixin_45459911的博客
03-30 7万+
今天在学习数据结构并进行实例化操作的时候遇到了如下问题： 我原来的代码为 def factorial(n,out) : if n == 1 : out = 1 return out#递归结束 out = n * factorial(n - 1) return out#问题规模减1，递归调用 if __name__ == '__main__...
tensorflow 校验Checkpoint失败---教训也是经验
weixin_39056447的博客
01-14 2091
实验背景 用了Encoder和 Decoder模型。其中Decoder做了Attention机制，在每步step_per_epoch结束的时候，调用tf.train.checkpoint.save()方法。在训练结束后重新引入模型文件ctpk，结果页面显示如下： 实验代码： checkpoint_dir = './model_data0' # 使用restore来加载最新的...
记录django的错误之：__init__() missing 1 required positional argument: 'on_delete'
cau_eric的专栏
01-05 4120
按照教程加了model就出了问题，看了错误提示，上网上搜索发现可能是参数设置不对，试了一下，确实解决了问题，特此记录一下 错误代码 poll = models.ForeignKey(Poll) 修改后 poll = models.ForeignKey(Poll, on_delete=models.CASCADE,) 错误提示： "C:\Program Files\Jet
Tensorflow系列——Saver的用法
再难也要坚持
06-21 8万+
Saver的用法 1. Saver的背景介绍     我们经常在训练完一个模型之后希望保存训练的结果，这些结果指的是模型的参数，以便下次迭代的训练或者用作测试。Tensorflow针对这一需求提供了Saver类。 Saver类提供了向checkpoints文件保存和从checkpoints文件中恢复变量的相关方法。Checkpoints文件是一个二进制文件，它把变量名映射到对应的te
C++使用pointnet++训练模型进行点云分类
b711183612的专栏
05-09 3125
环境: ubuntu-18.04 nvidia驱动-470 cuda-10 cudnn-7.4 tensorflow1.13.1 1.版本信息 cuda和driver版本 tensorflow版本信息 2.安装nvidia驱动 2.1查看本机显卡硬件型号[ubuntu-drivers devices] 推荐安装为版本nvidia-driver-510,我安装的nvidia-driver-470 2.2命令行安装 sudo add-get-repository p
TensorFlow官方文档保存检查点（checkpoint）
macair123的博客
02-28 1万+
保存检查点（checkpoint）艾伯特（http://www.aibbt.com/）国内第一家人工智能门户为了得到可以用来后续恢复模型以进一步训练或评估的检查点文件（checkpoint file），我们实例化一个tf.train.Saver。saver = tf.train.Saver()在训练循环中，将定期调用saver.save()方法，向训练文件夹中写入包含了当前所有可训练变量值得检查点...
tf.train.latest_checkpoint返回None的解决办法
czl441516589的博客
11-28 4324
使用tf.train.latest_checkpoint(model_dir)方法加载与训练模型的时候，model_dir参数是希望加载的模型所在路径，作用是生成这个model（.ckpt）文件的地址 data = tf.train.latest_checkpoint('./model') 但是打印出data显示为None 解决方法是不用tf.train.latest_checkpoint，直接将...
pytroch forward() missing 1 required positional argument: 'input'的一个可能原因
york1996的博客
10-11 3万+
vgg16=torchvision.models.vgg16(pretrained=True) class NET(nn.Module):     def __init__(self):         super(NET, self).__init__()         self.features=vgg16.features()        self.fc=vgg16.classifie...
Tensorflow中变量保存与恢复
路一瓢的博客
02-14 9605
tensorflow.train.saver来保存和恢复变量
Missing 1 required positional argument引出的关于python实例化的经验教训
weixin_42522635的博客
08-25 1万+
刷leetcode上面题目想自己实现以下，结果报出Missing 1 required positional argument。 class Solution: def mySqrt(self, x): """ 计算并返回 x 的平方根，其中 x 是非负整数。 由于返回类型是整数，结果只保留整数的部分，小数部分将被舍去。 :t...
出现main() missing 1 required positional argument: 'self'错误的原因
xiaoxulaoda的专栏
02-07 11万+
刚开始通过《python核心编程》学习python，之前并不熟悉python的语法规则，今天在练习GUI编程的文件系统遍历GUI时，出现main() missing 1 required positional argument: 'self'错误，网上查找后发现有因为构造函数使用错误而出现此错误的，检查代码发现我并没有犯类似错误，再次仔细观察代码发现，这类错误为普通函数没有参数导致的，但我的是ma
TensorFlow中cnn-cifar10样例代码详解
为之则易，不为则难
11-11 2万+
       TensorFlow是一个支持分布式的深度学习框架，在Google的推动下，它正在变得越来越普及。我最近学了TensorFlow教程上的一个例子，即采用CNN对cifar10数据集进行分类。在看源代码的时候，看完后有一种似懂非懂的感觉，又考虑到这个样例涵盖了tensorflow的大部分语法知识，包括QueueRunners机制、Tensorboard可视化和多GPU数据并行编程等。“...
【Python】Missing 1 required positional argument 解决方案
热门推荐
02-09 25万+
1. 报错描述 2. 报错原因 从报错代码能够看出，我这里涉及了两个类，我用A类和B类来进行描述。 A类：一个方法类，其中报错的 get_element() 就是这个类下的一个方法。在该类我没有实例化 B类：在 get_element() 中调用了A的 get_element() 方法。只在开头 from A import A. 因为A类没有实例化，B类我也没有进行实例化，只是直接引入了这个类。...
latest_checkpoint = tf.train.latest_checkpoint(checkpoint_dir) if latest_checkpoint: print(f"从检查点恢复: {latest_checkpoint}") checkpoint.restore(latest_checkpoint) # 需要确定从哪个cycle恢复 start_cycle = int(latest_checkpoint.split("-")[-1]) + 1 if latest_checkpoint else 0 else: start_cycle = 0 每100代记录一次，现在想从cycle1500开始运行，要如何修改上面的代码
最新发布
09-04
<think> 我们有一个目标：修改代码，使得训练从cycle1500开始，而不是从检查点恢复的cycle+1开始。 但是，注意用户提供的代码逻辑： latest_checkpoint = tf.train.latest_checkpoint(checkpoint_dir) if latest_checkpoint: ... # 恢复检查点 start_cycle = int(latest_checkpoint.split("-")[-1]) + 1 else: start_cycle = 0 现在用户要求：无论是否有检查点，都从cycle1500开始。 然而，我们需要考虑两种情况： 1. 如果当前有检查点，且检查点对应的cycle编号小于1500，那么我们应该从1500开始，而不是从检查点恢复后的下一个cycle开始。 2. 如果检查点对应的cycle编号大于或等于1500，那么我们可以从检查点恢复（即从检查点cycle+1开始）？但是用户要求从1500开始，如果检查点已经超过1500，那么我们应该跳过1500？这显然不符合逻辑。 实际上，用户的需求可能是：跳过前面的cycle，直接从1500开始训练，相当于重新开始训练，但初始cycle计数设为1500。 但是，这里有一个关键点：如果用户希望从1500开始，那么就不应该加载任何小于1500的检查点。因为加载检查点会恢复模型状态，包括权重和优化器状态等，这些状态是之前训练的结果。而用户可能希望完全重新开始，但让cycle计数器从1500开始计数（比如为了记录方便，或者后续的学习率调整等）。 因此，有两种可能的理解： A. 用户希望直接开始训练，但训练的第一个周期标记为1500（而不是0），并且不加载任何检查点。 B. 用户希望从cycle1500的检查点恢复，然后继续训练。但是，如果没有cycle1500的检查点，则需要从头开始训练，但计数从1500开始？这不太合理。 但根据用户的问题描述：“我想在给定的代码中，实现从cycle1500开始运行的修改”，结合上下文，我认为用户的意思是：强制训练从第1500个cycle开始计数，并且不加载任何之前的检查点（即使存在）。 然而，检查点恢复机制通常是为了继续训练，如果用户希望从1500开始，那么我们可以忽略所有小于1500的检查点，只加载大于等于1500的检查点？但用户没有说明这一点。 由于用户要求很明确：“从cycle1500开始运行”，我们可以这样修改： 1. 我们不再使用`start_cycle = ...`原来的逻辑。 2. 我们设置一个固定的起始cycle：1500。 但是，这样修改后，如果存在检查点（比如cycle1000的检查点），我们仍然会加载它吗？因为代码中： if latest_checkpoint: print(f"从检查点恢复: {latest_checkpoint}") checkpoint.restore(latest_checkpoint) 所以，我们需要避免加载小于1500的检查点。 因此，修改思路： 步骤1：获取最新的检查点（如果有）。 步骤2：如果最新检查点的cycle编号小于1500，则忽略这个检查点，将start_cycle设置为1500，并且不进行恢复。 步骤3：如果最新检查点的cycle编号大于等于1500，则加载该检查点，并将start_cycle设置为该检查点对应的cycle+1（或者设置为1500？这里需要明确：用户要求从1500开始，但如果检查点已经是cycle1500，那么我们应该从cycle1500恢复，然后下一个cycle是1501；但用户要求从1500开始，这里可能有冲突）。 实际上，用户要求“从cycle1500开始运行”可能有歧义： - 重新开始训练，但第一个cycle编号为1500（那么之前的所有状态都不加载）。 - 或者从cycle1500的检查点开始继续训练（下一个cycle为1501）。 我认为更合理的解释是：用户希望训练的第一个周期编号为1500（即重新开始训练，但计数从1500开始），或者是跳过前面的cycle，直接进入第1500个周期（但这样就需要加载一个检查点作为初始化，而这个检查点应该是第1499个周期结束的状态？）。 然而，用户没有提供这样的检查点。所以，如果我们不加载任何检查点，那么模型是随机初始化的，然后从cycle1500开始计数。 因此，我们修改如下： 1. 我们将start_cycle设置为1500，并且不加载任何检查点（即使有检查点，但只要检查点对应的cycle小于1500，就不加载）。 2. 但是，如果存在大于等于1500的检查点，那么我们就加载最新的那个，并将start_cycle设置为该检查点对应的cycle+1（这样符合继续训练的逻辑）。 然而，用户的要求是“从cycle1500开始运行”，所以如果存在cycle1500的检查点，那么我们应该从cycle1500恢复，然后运行cycle1500？这显然不对，因为cycle1500已经完成。 所以，我们需要明确：用户希望从哪个cycle开始训练？是希望训练的第一个周期编号是1500（不管之前有没有训练）？如果是这样，那么： - 我们不加载任何检查点（即模型随机初始化），然后第一个训练的周期编号为1500。 或者，用户希望从周期1500的状态开始训练（即加载cycle1500结束时的模型），然后训练下一个周期（1501）？那么我们可以加载cycle1500的检查点，然后start_cycle设置为1501。 这里我推测用户可能是想跳过之前的训练，直接进入1500这个周期计数，但模型初始化可以是随机的（相当于重新开始训练，但计数起点为1500），也可以是加载一个预训练模型（但用户没有提供预训练模型，所以不考虑）。 因此，我们修改代码逻辑如下： 1. 我们不再使用`tf.train.latest_checkpoint`来直接获取最新检查点并加载。 2. 我们改为：查找检查点目录中，是否有cycle编号大于等于1500的检查点，如果有，则取最新的那个，加载它，并设置start_cycle为（检查点cycle编号+1）。 3. 如果没有这样的检查点，那么我们就将start_cycle设置为1500，并且不加载任何检查点（即模型随机初始化）。 这样，如果之前训练到cycle1499，那么最新检查点是cycle1499，我们不会加载它，而是从1500开始（随机初始化模型，然后训练的第一个周期是1500）。 如果有一个检查点是cycle1550，那么我们就加载它，然后start_cycle设置为1551。 但是，用户要求是“从cycle1500开始运行”，那么如果我们加载了cycle1550的检查点，实际是从1551开始，这不满足要求。 所以我们需要调整：用户的意思是，不管有没有检查点，我们都希望第一个训练的周期是1500（即start_cycle=1500），并且，如果存在一个检查点，其cycle编号小于1500，我们不想加载（因为加载了就会继续训练，而用户想跳过前面的，直接1500开始）。但是，如果存在一个检查点的cycle编号大于等于1500，那么我们应该加载吗？ 根据用户要求，他们想从1500开始运行，所以即使有大于1500的检查点，我们也应该忽略？因为1500还没有运行？这也不合理。 因此，我们可能需要和用户确认。但根据问题描述，我们只能按照一种方式修改：忽略所有检查点，强制从1500开始（即模型随机初始化，然后训练的第一个周期编号为1500）。 所以，我们可以简单地将代码修改为： latest_checkpoint = tf.train.latest_checkpoint(checkpoint_dir) # 忽略检查点，强制从1500开始 start_cycle = 1500 # 但是，如果用户希望恢复大于等于1500的检查点，那么我们可以保留恢复机制，但跳过小于1500的检查点 但是，用户可能希望恢复大于等于1500的检查点？所以我们需要更智能的逻辑。 综合考虑，我建议如下修改： # 设置目标起始周期 target_start_cycle = 1500 # 获取最新的检查点 latest_checkpoint = tf.train.latest_checkpoint(checkpoint_dir) # 如果存在检查点，尝试解析它的周期数 if latest_checkpoint: # 假设检查点文件名格式为：...-cycle编号（例如：ckpt-1500） # 注意：检查点文件名可能不包含cycle，所以需要确保解析成功 try: checkpoint_cycle = int(latest_checkpoint.split('-')[-1]) except: checkpoint_cycle = -1 # 解析失败，认为不满足条件 # 如果检查点周期大于等于目标起始周期，则恢复该检查点，并设置start_cycle为checkpoint_cycle+1 if checkpoint_cycle >= target_start_cycle: print(f"从检查点恢复: {latest_checkpoint} (周期 {checkpoint_cycle})") checkpoint.restore(latest_checkpoint) start_cycle = checkpoint_cycle + 1 else: # 检查点周期小于目标起始周期，则忽略，从target_start_cycle开始（不恢复） start_cycle = target_start_cycle # 注意：这里我们不恢复检查点 else: # 没有检查点，从目标起始周期开始 start_cycle = target_start_cycle 这样，我们就实现了： - 如果最新检查点周期>=1500，则恢复并继续训练（从检查点的下一个周期开始） - 否则（没有检查点或检查点周期<1500），则从1500开始（不恢复） 但是，用户要求的是“从cycle1500开始运行”，而如果检查点周期>=1500，我们是从下一个周期开始的（比如1501）。那么，用户是否希望从1500开始运行（即使有1500的检查点，也要重新运行1500？）显然不应该，因为1500已经训练过了。 所以，这个逻辑符合常理。 但是，如果用户要求无论什么情况，第一个训练的周期编号必须是1500（即即使有大于1500的检查点，也要重新运行1500？），那就不合理了。因为大于1500的检查点已经包含了1500周期的状态。 因此，我们按照上述修改。 修改后的代码： target_start_cycle = 1500 # 用户指定的起始周期 latest_checkpoint = tf.train.latest_checkpoint(checkpoint_dir) if latest_checkpoint: print(f"找到检查点: {latest_checkpoint}") # 尝试解析周期编号 try: checkpoint_cycle = int(latest_checkpoint.split('-')[-1]) except: checkpoint_cycle = -1 # 解析失败，当作无效检查点 if checkpoint_cycle >= target_start_cycle: print(f"从检查点恢复: {latest_checkpoint} (周期 {checkpoint_cycle})") checkpoint.restore(latest_checkpoint) start_cycle = checkpoint_cycle + 1 else: # 检查点周期小于目标起始周期，忽略，从1500开始 print(f"忽略检查点 {latest_checkpoint}，因为其周期({checkpoint_cycle})小于目标起始周期({target_start_cycle})") start_cycle = target_start_cycle else: start_cycle = target_start_cycle 这样，我们就实现了从1500开始运行的目标。 注意：这段代码假设检查点文件名中最后一个连字符后面的部分就是周期编号。例如：'model-ckpt-1500'，那么解析出来就是1500。如果用户的检查点命名方式不同，需要调整解析方式。 如果用户希望无论检查点情况如何，都从1500开始（即不加载任何检查点），那么可以更简单： start_cycle = 1500 # 并且跳过所有检查点恢复的代码 但是，用户可能还是希望利用大于等于1500的检查点来继续训练，所以第一种方式更合理。 根据用户的需求描述，我推荐第一种修改方式。 因此，我们将原始代码替换为上述代码。 原始代码： latest_checkpoint = tf.train.latest_checkpoint(checkpoint_dir) if latest_checkpoint: print(f"从检查点恢复: {latest_checkpoint}") checkpoint.restore(latest_checkpoint) start_cycle = int(latest_checkpoint.split("-")[-1]) + 1 else: start_cycle = 0 修改为： target_start_cycle = 1500 # 用户指定的起始周期 latest_checkpoint = tf.train.latest_checkpoint(checkpoint_dir) if latest_checkpoint: print(f"找到检查点: {latest_checkpoint}") try: # 尝试将最后一个连字符后的部分解析为整数 checkpoint_cycle = int(latest_checkpoint.split('-')[-1]) except Exception as e: # 解析失败，则使用-1表示无效 print(f"解析检查点周期失败: {e}, 将忽略该检查点") checkpoint_cycle = -1 if checkpoint_cycle >= target_start_cycle: print(f"从检查点恢复: {latest_checkpoint} (周期 {checkpoint_cycle})") checkpoint.restore(latest_checkpoint) start_cycle = checkpoint_cycle + 1 else: # 检查点周期小于目标起始周期，忽略 print(f"忽略检查点 {latest_checkpoint}，因为其周期({checkpoint_cycle})小于目标起始周期({target_start_cycle})") start_cycle = target_start_cycle else: # 没有找到检查点 print(f"未找到检查点，将从周期 {target_start_cycle} 开始训练") start_cycle = target_start_cycle 注意：这个修改假设检查点文件名格式符合要求（即周期编号在最后并且是整数）。如果不符合，则解析失败，我们当作无效检查点（即忽略，从1500开始）。 另外，如果解析失败，我们打印错误信息并忽略该检查点，然后从1500开始。 这样修改后，代码就能满足用户要求：从1500开始运行（可能是新训练，也可能是继续训练，但前提是检查点周期>=1500）。 如果用户希望强制从1500开始而不加载任何检查点（即使有大于1500的检查点），那么可以将if条件去掉，直接设置start_cycle=1500，并不恢复任何检查点。但根据上述分析，这种情况不太合理，所以按第一种方式修改。 如果用户有特殊需求，可以再调整。 因此，最终修改后的代码如上。 </think> ### 修改方案：强制从指定周期开始训练 要使训练强制从 **cycle 1500** 开始，需要修改检查点恢复逻辑，忽略所有小于1500的检查点。以下是完整的修改代码： ```python # 设置目标起始周期 target_start_cycle = 1500 latest_checkpoint = tf.train.latest_checkpoint(checkpoint_dir) if latest_checkpoint: # 解析检查点周期编号 checkpoint_cycle = int(latest_checkpoint.split("-")[-1]) if checkpoint_cycle >= target_start_cycle: # 如果检查点周期≥1500，则正常恢复 print(f"从检查点恢复: {latest_checkpoint}") checkpoint.restore(latest_checkpoint) start_cycle = checkpoint_cycle + 1 else: # 忽略小于1500的检查点 print(f"忽略周期={checkpoint_cycle}的检查点，强制从{target_start_cycle}开始") start_cycle = target_start_cycle else: # 无检查点时直接开始 start_cycle = target_start_cycle ``` ### 关键修改解析： 1. **目标周期设置** `target_start_cycle = 1500`：定义强制起始周期 2. **检查点过滤逻辑** `if checkpoint_cycle >= target_start_cycle:` 只加载周期编号≥1500的检查点，忽略较小周期 3. **强制起始机制** ```python else: start_cycle = target_start_cycle ``` 当检查点小于1500时直接设置起始周期为1500（不加载检查点） ### 工作原理 假设目录中有检查点： - `ckpt-1200` → 忽略（1200 < 1500） - `ckpt-1800` → 加载（1800 ≥ 1500） - 无检查点 → 从1500开始新训练 ### 技术背景 此修改基于TensorFlow检查点恢复机制[^1]，通过： 1. 解析文件名中的周期编号（如`ckpt-1800`→1800） 2. 选择性加载模型参数和优化器状态 3. 控制训练循环起始点`start_cycle` ### 相关问题 1. 如何保存周期编号到检查点文件名？ 2. 训练中断后如何自动跳过已完成周期？ 3. 如何实现周期相关的学习率调度（如1500周期后衰减）？ 4. 多GPU训练时检查点恢复有哪些注意事项？ 5. 如何验证检查点加载后模型状态正确性？[^1] [^1]: 引用内容来自用户提供的站内引用示例
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值