shuffle_seed: 0 # 数据打散的种子 干嘛用的

最新推荐文章于 2024-08-28 20:46:24 发布
原创 最新推荐文章于 2024-08-28 20:46:24 发布 · 629 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细解析了深度学习训练过程中的关键配置参数，包括batch_size、num_workers等，以及训练集标签文件和图像数据路径的具体设定，对于理解深度学习模型训练流程及优化具有重要参考价值。

https://blog.youkuaiyun.com/u010589524/article/details/89371919

 

TRAIN: # 训练配置
    batch_size: 32 # 训练的batch size
    num_workers: 4 # 每个trainer(1块GPU上可以视为1个trainer)的进程数量
    file_list: "./dataset/flowers102/train_list.txt" # 训练集标签文件，每一行由"image_name label"组成
    data_dir: "./dataset/flowers102/" # 训练集的图像数据路径
    shuffle_seed: 0 # 数据打散的种子

通过设置全局随机种子使得每次的训练结果相同可以复现

 

https://aistudio.baidu.com/bdvgpu32g/user/2292/515777/notebooks/515777.ipynb?redirects=1

 

 

https://blog.youkuaiyun.com/linzch3/article/details/58220569?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase

设定并理解随机数种子 && Pytorch在Dataloader类中设置shuffle的随机数种子方式
weixin_45928096的博客
09-20 7803
1 PyTorch设置随机数的种子 为了保证模型和数据生成的可再现性，需要设定随机种子。 只要知道随机性来自哪里，设置对应的随机种子即可。 比如使用了numpy.random，则应设置numpy.random.seed(seed)。 2. python调试技巧之设定随机数种子 3.Pytorch在dataloader类中设置shuffle的随机数种子方式 设置随机种子的作用就是让你的每一次训练都乱的一样，即可以让你在单次训练内部数据保持乱序但不同训练之间都是一样的乱序。
keras val_categorical_accuracy: 0.0000e+00问题
热门推荐
月想容的博客
06-19 1万+
问题描述： 在利用神经网络进行分类和识别的时候，使用了keras这个封装层次比较高的框架，backend使用的是tensorflow-cpu。 在交叉验证的时候，出现val_categorical_accuracy: 0.0000e+00的问题。 问题分析： 首先，弄清楚，训练集、验证集、测试集的区别，验证集是从训练集中提前拿出一部分的数据集。在keras中，一般...
Python shuffle() 函数
Huiyu Blog
12-07 784
描述 shuffle() 方法将序列的所有元素随机排序。 语法 import random random.shuffle (lst ) 注意：需要导入 random 模块，然后通过 random 静态对象调用该方法。 shuffling 每次都能获得相同的结果 使用随机模块的random.seed（）方法，每次洗牌都可能产生相同的结果。 import random list = [1,2,3,4...
np.random.shuffle()+random.seed()设定随机种子，多次打乱，打乱规则固定
qq_46380784的博客
01-31 8995
在打乱数据集的时候遇到了这样一个问题：我有两组数据集，一组是image，一组是mask（语义分割任务，与本文无关），image和mask里都是图片，且一一对应，即。注意，因为shuffle函数是在原数组上直接操作的，不是生成一个新的打乱的数组，因此一次shuffle(a)之后，a就变成了打乱后的样子。其实，三次shuffle(b)也是按相同的规则打乱的，但该规则不同于shuffle(a)的规则，因此，并不能保留a、b之间的对应关系。）的结论，但基于上面的结果，好像这句话又不完全对，还望大佬指正~
shuffle
fkyyly的专栏
04-18 644
数据shuffle （1）方法1： X_train,X_test, y_train, y_test = cross_validation.train_test_split(all_train_data,all_label,test_size=0.4, random_state=0)   (2)方法2 x1 = np.array(question_list) x2 = np....
shuffle-seed:使用种子对数组进行混洗的 Nodejs 模块
05-30
洗牌 使用种子对数组进行混洗的 Nodejs 模块 :seedling: 基于模块Array Shuffle Seed 安装 npm install shuffle-seed 用法 ： var shuffleSeed = require ( 'shuffle-seed' ) ; var a = [ "a" , "b" , "c" , "d" , "e" , "f" , "g" , "h" , "i" , "j" , "k" , "l" , "m" , "n" , "o" , "p" , "q" , "r" , "s" , "t" , "u" , "v" , "w" , "x" , "y" , "z" ] ; var resp = shuffleSeed . shuffle ( a , "Kappa" ) ; // result always will be [f','y','p','i','r',
Node.js模块 shuffle-seed：使用种子稳定混洗数组
shuffle-seed 是一个 Node.js 模块，专门用于对数组进行随机混洗操作，同时使用特定的“种子”来保证混洗结果的一致性。它在设计上旨在提供一种可预测的随机性，这对于需要可重复结果的测试和数据分析场景尤其有用。...
np.random.seed(116) # 相同的随机种子 np.random.shuffle(x_data) # 所有元素随机排序 np.random.seed(116) np.random.shuffle(y_data) # 所有元素随机排序 torch.manual_seed(116) torch.cuda.manual_seed(116) # 设置torch随机种子对该段代码进行逐句解释分析，包括包和方法的使用
最新发布
10-21
- **方法的使用**：`torch.manual_seed()` 用于设置 PyTorch 随机数生成器的种子。设置种子后，PyTorch 中涉及随机数生成的操作（如初始化神经网络的权重、随机打乱数据等）都会生成相同的随机数序列，保证实验结果...
“random_shuffle”：不是“std”错误的成员
轩辕霸天L
08-28 1095
属于C++14之前标准，后续版本被弃用。在C++中，std::random_shuffle 是一个函数模板，用于将一个容器中的元素随机打乱。然而，从C++14开始，std::random_shuffle 被标记为弃用，并且在C++17中被完全移除。取而代之的是使用 std::shuffle 函数，它接受一个随机数生成器作为参数来打乱容器中的元素。
[Python] Random_seed(), Shuffle, Permutation
02-14 1043
1. random_seed()函数 描述 seed() 方法改变随机数生成器的种子，可以在调用其他随机模块函数之前调用此函数。 语法 以下是 seed() 方法的语法: import random random.seed ( [x] ) 在调用 random.random() 生成随机数时，每一次生成的数都是随机的。但是，当我们预先使用 random.seed(x) 设定好种子之后，其中的 x 可以是任意数字，如10，这个时候，再调用它的情况下，使用 random() 生成的随机数将会是同
深度学习—写作Dataset时是否应该使用shuffle
墨门
05-19 780
1 问题描述 在进行Dataset的写作时是否需要设置shuffle = True呢？伍老师说这样设置是不利于模型训练的，因为这样batch的数据会有周期性的特点；我个人是不赞同的；
shuffle data 随机打乱数据集数据
纸上得来终觉浅，绝知此事要躬行！
10-28 1845
文章目录shuffle data shuffle data 随机打乱数据 将数据随机打乱后再训练，有助于模型的训练，否则模型应该更倾向于预测为后半部分的分类（二分类问题中） import random def shuffleData(X, y, seed=None): random.seed(seed) index = [i for i in range(len(X))] random.shuffle(index) print(index) X = X[ind
基于 Python 的 经典数据降维算法
hdpai2018的博客
07-09 1281
网上关于各种降维算法的资料参差不齐，同时大部分不提供源代码。 Python 实现了 11 种经典的数据抽取(数据降维)算法，包括：PCA、LDA、MDS、LLE、TSNE 等 一、为什么要进行数据降维? 所谓降维，即用一组个数为 d 的向量 Zi 来代表个数为 D 的向量 Xi 所包含的有用信息，其中 d<D，通俗来讲，即将高维度下降至低维度；将高维数据下降为低维数据。 通常，我们会发现大部分数据集的维度都会高达成百乃至上千，而经典的 MNIST，其维度都是 64。 但在实际应用中，我们所用到的有用信
python random函数shuffle_Python|有趣的shuffle方法
weixin_39996101的博客
11-29 2492
Pythonrandom的“shuffle方法随机化序列项”是我们在学习中会经常遇到的一个知识点，今天我们就来简单的学习一下吧！解决方案在学习这个方法时我们就要了解他是怎样构成的。第一：Python这门编程语言第二：第三方库第三：此函数首先我们来介绍一下这个第三方库，random库是使用随机数的Python标准库，利用这个库可以随机的生成指定范围的随机数。下面我们简单的介绍一下他的用法。我们通过一...
Java shuffle 算法
weixin_30781107的博客
03-07 197
Fisher–Yates shuffle 基本思想（Knuth shuffle ）： To shuffle an array a of n elements (indices 0..n-1): for i from n − 1 downto 1 do j ← random integer with 0 ≤ j ≤ i exchange a[j] and a...
random.seed()以及random.shuffle()
DazeAJD的博客
07-20 1万+
结论：当random.seed()设定一个初始值时，random.shuffle()的顺序保持不变 >>> import random >>> SEED = 1 >>> random.seed(SEED) >>> a=[i for i in range(10)] >>> random.shuffle(a) >>> print(a) [6, 8, 9, 7, 5, 3, 0, 4, 1, 2].
深度学习实战——木薯叶图像识别与分类项目
庄小焱
03-05 3714
摘要 本文主要通过使用的PaddlePaddle用于实现的图像分类的目标的。并设计与优化的相关的模型。该问题主要来源是的：https://www.kaggle.com/c/cassava-leaf-disease-classification 问题背景 作为非洲第二大碳水化合物供应国，木薯是小农种植的重要粮食安全作物，因为它可以承受恶劣的条件。撒哈拉以南非洲至少有80％的家庭农场都种植这种淀粉状的根，但病毒性疾病是单产低下的主要根源。借助数据科学，可以识别常见疾病，以便对其进行治疗。 现有的疾病检测方
np.seed()作用和np.shuffle()作用
weixin_38410551的博客
10-08 6283
np.seed()：如果seed有参数，则每次运行的随机数结果相同。如果没有参数，则每次运行的随机数结果都可能不同。 np.shuffle(A)：将列表A的值打乱。 import numpy as np num_train = 5 indices = list(range(num_train)) print(indices) print(len(indices)) np.random.seed(...
python - 字符串重排：固定seed()下利用random.shuffle()简化代码
weixin_45067399的博客
05-23 4213
在操作对字符串列表进行特定顺序重组时： 通过利用本文代码，尝试查询固定seed下的shuffle结果 可以实现对特定排序的快速应用，省去部分逻辑排序代码的编写
解释这个文件。_target_: diffusion_policy.workspace.train_diffusion_unet_hybrid_workspace.TrainDiffusionUnetHybridWorkspace checkpoint: save_last_ckpt: true save_last_snapshot: false topk: format_str: epoch={epoch:04d}-test_mean_score={test_mean_score:.3f}.ckpt k: 5 mode: max monitor_key: test_mean_score dataloader: batch_size: 64 num_workers: 8 persistent_workers: false pin_memory: true shuffle: true dataset_obs_steps: 2 ema: _target_: diffusion_policy.model.diffusion.ema_model.EMAModel inv_gamma: 1.0 max_value: 0.9999 min_value: 0.0 power: 0.75 update_after_step: 0 exp_name: default horizon: 16 keypoint_visible_rate: 1.0 logging: group: null id: null mode: online name: 2023.01.16-20.20.06_train_diffusion_unet_hybrid_pusht_image project: diffusion_policy_debug resume: true tags: - train_diffusion_unet_hybrid - pusht_image - default multi_run: run_dir: data/outputs/2023.01.16/20.20.06_train_diffusion_unet_hybrid_pusht_image wandb_name_base: 2023.01.16-20.20.06_train_diffusion_unet_hybrid_pusht_image n_action_steps: 8 n_latency_steps: 0 n_obs_steps: 2 name: train_diffusion_unet_hybrid obs_as_global_cond: true optimizer: _target_: torch.optim.AdamW betas: - 0.95 - 0.999 eps: 1.0e-08 lr: 0.0001 weight_decay: 1.0e-06 past_action_visible: false policy: _target_: diffusion_policy.policy.diffusion_unet_hybrid_image_policy.DiffusionUnetHybridImagePolicy cond_predict_scale: true crop_shape: - 84 - 84 diffusion_step_embed_dim: 128 down_dims: - 512 - 1024 - 2048 eval_fixed_crop: true horizon: 16 kernel_size: 5 n_action_steps: 8 n_groups: 8 n_obs_steps: 2 noise_scheduler: _target_: diffusers.schedulers.scheduling_ddpm.DDPMScheduler beta_end: 0.02 beta_schedule: squaredcos_cap_v2 beta_start: 0.0001 clip_sample: true num_train_timesteps: 100 prediction_type: epsilon variance_type: fixed_small num_inference_steps: 100 obs_as_global_cond: true obs_encoder_group_norm: true shape_meta: action: shape: - 2 obs: agent_pos: shape: - 2 type: low_dim image: shape: - 3 - 96 - 96 type: rgb shape_meta: action: shape: - 2 obs: agent_pos: shape: - 2 type: low_dim image: shape: - 3 - 96 - 96 type: rgb task: dataset: _target_: diffusion_policy.dataset.pusht_image_dataset.PushTImageDataset horizon: 16 max_train_episodes: 90 pad_after: 7 pad_before: 1 seed: 42 val_ratio: 0.02 zarr_path: data/pusht/pusht_cchi_v7_replay.zarr env_runner: _target_: diffusion_policy.env_runner.pusht_image_runner.PushTImageRunner fps: 10 legacy_test: true max_steps: 300 n_action_steps: 8 n_envs: null n_obs_steps: 2 n_test: 50 n_test_vis: 4 n_train: 6 n_train_vis: 2 past_action: false test_start_seed: 100000 train_start_seed: 0 image_shape: - 3 - 96 - 96 name: pusht_image shape_meta: action: shape: - 2 obs: agent_pos: shape: - 2 type: low_dim image: shape: - 3 - 96 - 96 type: rgb task_name: pusht_image training: checkpoint_every: 50 debug: false device: cuda:0 gradient_accumulate_every: 1 lr_scheduler: cosine lr_warmup_steps: 500 max_train_steps: null max_val_steps: null num_epochs: 3050 resume: true rollout_every: 50 sample_every: 5 seed: 42 tqdm_interval_sec: 1.0 use_ema: true val_every: 1 val_dataloader: batch_size: 64 num_workers: 8 persistent_workers: false pin_memory: true shuffle: false
06-29
### 3.2 配置文件解析与作用说明 在 `diffusion_policy.workspace.train_diffusion_unet_hybrid_workspace` 的配置文件中，各个部分定义了训练扩散 UNet 混合模型所需的核心参数和模块结构。这些参数控制着数据加载、模型架构、优化器设置、训练流程以及日志记录等关键环节。 #### 数据加载与预处理 ```yaml dataset: _target_: diffusion_policy.dataset.pusht_image_dataset.PushtImageDataset zarr_path: data/pusht.zarr horizon: 16 pad_before: 8 pad_after: 8 seed: 42 ``` 该部分指定了使用的数据集类型及其路径。例如，在 PushT 任务中，使用的是 `PushtImageDataset` 类，输入的 `.zarr` 文件包含图像观测和动作序列。`horizon` 控制每段轨迹的时间步长，而 `pad_before` 和 `pad_after` 用于对齐时间轴以适配卷积操作[^2]。这一设计允许网络更好地捕捉时间连续性。 #### 模型结构定义 ```yaml model: _target_: diffusion_policy.model.diffusion_model.DiffusionUnetHybridModel obs_encoder: _target_: diffusion_policy.model.obs_encoders.CNNObsEncoder shape_meta: obs: image: shape: [3, 96, 96] noise_scheduler: _target_: diffusers.schedulers.DDPMScheduler num_train_timesteps: 1000 beta_schedule: "linear" loss_weight: action: 1.0 obs: 0.0 ``` `model` 部分定义了扩散 UNet 混合模型的核心结构。其中，`obs_encoder` 使用 CNN 对图像进行编码，输出低维特征向量；`noise_scheduler` 定义了去噪过程中的调度策略，通常采用 DDPMScheduler 或 DDIMScheduler；`loss_weight` 控制动作预测和状态重建损失之间的平衡[^2]。这种混合建模方式使得模型既能学习动作分布，又能保留观测空间的语义信息。 #### 优化器与训练参数 ```yaml training: batch_size: 64 lr: 1e-4 weight_decay: 1e-5 grad_clip_norm: 1.0 device: cuda:0 ema_rate: 0.999 ``` 这部分设置了优化器的基本参数，包括批量大小、学习率、权重衰减系数、梯度裁剪阈值以及设备选择（如 GPU）。`ema_rate` 控制指数移动平均（EMA）的更新速率，有助于提升模型稳定性。这些参数直接影响训练收敛速度和最终性能。 #### 日志与评估配置 ```yaml logging: log_interval: 100 save_interval: 1000 eval_interval: 5000 wandb_project: diffusion_policy ``` `logging` 部分控制训练过程中的日志记录频率、模型保存周期以及评估间隔。`wandb_project` 指定 Weights & Biases 项目名称，便于可视化训练过程并监控各项指标。通过定期评估和记录，可以及时发现训练异常并调整超参数。 #### 环境与推理设置 ```yaml env_runner: _target_: diffusion_policy.env_runner.pusht_image_env_runner.PushtImageEnvRunner max_episodes: 10 n_obs_steps: 8 n_action_steps: 8 fps: 10 ``` `env_runner` 指定了环境执行器，用于在训练过程中验证策略的表现。`max_episodes` 控制每次评估的最大回合数，`n_obs_steps` 和 `n_action_steps` 分别表示观察窗口和动作预测的步数。`fps` 设置控制器的执行频率，确保与实际机器人或仿真环境同步。 #### 自定义函数解析支持 ```yaml OmegaConf.register_new_resolver("eval", eval, replace=True) ``` 该行代码注册了一个新的 OmegaConf 解析器，允许在配置文件中直接使用 Python 表达式进行动态计算。例如，在 YAML 中可以写入 `batch_size: ${eval:"int(64 * 1.5)"}` 来自动调整批量大小。这种机制提升了配置灵活性，尤其适用于多实验场景下的参数调节。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

往事如yan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值