别再乱设随机种子了!PyTorch可复现性设置的5个常见误区与正确姿势

Qwen2-7B微调实战:LoRA+QLoRA单卡3090指令微调全指南 大语言模型微调是将通用基座适配垂直场景的核心技术,其本质是通过参数高效方法(如LoRA)在冻结主干权重的前提下注入领域知识。Qwen2系列凭借中英双语原生词表、高比例中文训练语料及阿里云百炼平台深度集成,在中文法律、金融、政务等长文本理解任务中展现出显著工程优势。本文聚焦Qwen2-7B这一消费级显卡友好型模型,详解基于LoRA与QLoRA的指令微调全流程,覆盖数据清洗规范、CUDA 12.1+PyTorch 2.3环境避坑、r=8/alpha=16超参配置、百炼平台零代码微调与本地Hugging Face 阅读详情

PyTorch可复现性实战指南:从随机种子到工程化解决方案

在深度学习研究领域,实验结果的可复现性就像科学实验中的对照组一样重要。想象一下,当你花费数周时间调整模型架构后,却发现之前的"性能提升"只是随机种子变化带来的假象——这种经历足以让任何研究者夜不能寐。PyTorch作为当前最流行的深度学习框架之一,其灵活性在带来便利的同时,也为可复现性埋下了不少陷阱。

1. 随机种子的本质与常见误区

随机数在深度学习中的应用远比表面看起来复杂。从模型参数初始化、数据增强到dropout操作,随机性几乎渗透在训练流程的每个环节。许多开发者简单地认为设置torch.manual_seed(42)就万事大吉,实则不然。

误区一:单一随机种子设置不足

# 不完整的随机种子设置
torch.manual_seed(42)  # 仅设置CPU随机种子

完整的随机种子设置应当包括:

  • Python内置random模块
  • NumPy随机数生成器
  • PyTorch的CPU和CUDA随机种子
  • 多GPU环境下的所有设备种子

误区二:忽略CuDNN的随机性影响

# 缺少CuDNN确定性设置
torch.backends.cudnn.benchmark = True  # 会引入随机性

CuDNN作为深度学习加速库,其算法选择本身就可能引入随机性。当benchmark=True时,CuDNN会为每个卷积层自动选择最优算法,但这种选择过程可能导致每次运行结果不同。

2. 工程化配置方案解析

不同开源项目对可复现性的处理方式各有特点,通过分析主流项目的实践,我们可以总结出最佳配置方案。

2.1 基础配置模板

def set_seed(seed):
    random.seed(seed)
    np.random.seed(seed)
    os.environ['PYTHONHASHSEED'] = str(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)  # 多GPU情况
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False
    os.environ['CUBLAS_WORKSPACE_CONFIG'] = ':4096:8'  # 针对特定CUDA版本

2.2 主流框架配置对比

项目随机种子设置CuDNN配置特殊处理
mmdetection完整设置CPU/CUDA种子benchmark=False, deterministic=True无
DETR考虑多进程rank调整种子未显式设置种子=基础种子+rank
Kaggle包含Python哈希种子benchmark=True(!)与常规实践不一致
李宏毅作业完整多GPU种子设置benchmark=False, deterministic=True明确检查CUDA可用性

注意:Kaggle示例中的benchmark=True与deterministic=True同时存在是特殊案例,通常二者应互斥

3. 多GPU环境下的特殊考量

分布式训练场景下的随机性控制更为复杂。DETR项目的实现给出了一个典型方案:

# DETR的多进程种子设置
parser.add_argument('--seed', default=42, type=int)
seed = args.seed + utils.get_rank()  # 为每个进程分配不同种子

torch.manual_seed(seed)
np.random.seed(seed)
random.seed(seed)

这种做法的核心理念是:

  1. 保持每个进程的随机序列独立
  2. 通过基础种子+rank的方式确保可复现性
  3. 避免不同进程产生相同的随机序列导致数据偏差

4. 性能与确定性的权衡艺术

追求完全确定性可能带来性能损失,这在大型项目中需要谨慎权衡:

配置对比表

配置组合训练速度显存占用可复现性适用场景
benchmark=True最快最低低产品环境、初步实验
deterministic=True慢较高高论文实验、最终验证
两者均为False中等中等中等一般开发

实际项目中,我通常采用分阶段策略:

  1. 探索阶段:保持benchmark=True加速迭代
  2. 调优阶段:启用确定性模式验证改进
  3. 最终阶段:完整确定性配置+多轮验证

5. 超越随机种子的全链路控制

即使完美设置了随机种子,这些因素仍可能破坏可复现性:

  • 数据加载顺序:确保DataLoader的worker_init_fn正确设置
def worker_init_fn(worker_id):
    worker_seed = torch.initial_seed() % 2**32
    random.seed(worker_seed)
    np.random.seed(worker_seed)

loader = DataLoader(..., worker_init_fn=worker_init_fn)
  • 并行计算:某些BLAS库的并行操作可能引入不确定性
os.environ['OMP_NUM_THREADS'] = '1'  # 限制OpenMP线程数
  • 浮点运算:不同硬件架构的浮点运算差异可能累积
torch.set_float32_matmul_precision('high')  # 统一矩阵乘法精度

在最近的一个图像分割项目中,我们遇到了即使设置所有随机种子仍无法复现的问题。最终发现是数据增强库中一个不起眼的num_workers参数未固定导致的。这个教训让我意识到:可复现性是一个系统工程,需要从代码版本、依赖项到硬件环境的全方位控制。

使用DCA1000和EVM板进行数据采集 目录 1. 准备工作 1.1 硬件 1.2 软件 2. 驱动安装 3. 设置静态IP地址 4. 采集数据 5. 采集的数据文件的格式 6. 数据采集存储的数据流 参考资料 1. 准备工作 1.1 硬件 EVM板,电源线(5V,>2.5A),USB线 DCA1000,电源线(5V,>2A),USB线,网线,60pin Samtec cable 1.2 软件 mmWave Studio Matlab Runtime Engine v8.5.1 将DCA1000和EVM板 阅读详情

相关推荐

“风色幻想XX:交错轨迹游戏卡顿:从解决d3dx9_xx.dll缺失开始——风色幻想XX优化指南

《风色幻想XX:交错轨迹》作为一款深受玩家喜爱的角色扮演游戏,以其丰富的剧情、独特的角色设定和精美的画面赢得了广泛的赞誉。然而,在游戏过程中,部分玩家可能会遇到游戏卡顿的问题,这不仅影响了游戏体验,还可能让玩家错失精彩的剧情和战斗瞬间。在众多导致游戏卡顿的因素中,d3dx9_xx.dll文件的缺失往往是一个不容忽视的原因。

czl922的博客 1261

大模型MoE稀疏激活原理与实战:2%激活比例背后的工程真相

混合专家(MoE)是一种通过稀疏激活提升大模型效率的核心架构,其本质是在保持海量参数规模的同时,仅动态调用少量专家处理当前token。该机制基于门控路由(Router)实现细粒度任务分发,依赖负载均衡、专家容量控制与All-to-All通信优化等关键技术。MoE不仅显著降低显存占用与推理延迟,更在效果与硬件成本间达成帕累托最优——如GPT-4的2%激活率与DeepSeek-R1的5.5%设计,均是经实证验证的黄金比例。本文深入解析Router温度调度、Expert轻量化设计及Token动态批处理等落地细节,

weixin_34194359的博客 398

LabVIEW与VisionMaster融合开发:从封装避坑到高效集成的实战指南

本文为LabVIEW开发者提供了一套与海康VisionMaster融合开发的实战指南。针对直接调用SDK时遇到的程序集加载失败和面向对象编程冲突等核心障碍,文章详细介绍了通过C#进行“浅封装”的解决方案,包括封装显示控件和核心功能类,并给出了在LabVIEW中高效集成、调用及资源管理的最佳实践,旨在帮助开发者稳定、高效地集成机器视觉功能。

weixin_29210727的博客 158

RNNoise-SpeexDSP-WebRTC使用说明

本文介绍RNNoise、SpeexDSP与WebRTC音频处理库的下载、调用及参数配置方法,适用于Android语音工程集成。RNNoise基于深度学习,适合非稳态噪声降噪,需48kHz输入;SpeexDSP支持多采样率与回声消除,适用于全双工场景;WebRTC提供轻量级窄带处理。三者可串联使用:麦克风信号先经前级降噪(RNNoise或SpeexDSP),再进入WebRTC媒体引擎进行编码。重点说明各库的典型应用场景、接口调用方式、关键参数调节策略及采样率转换注意事项,帮助开发者高效集成与优化语音处理链路。

知识共享,你我皆是知识的搬运工 245

移动端安全实战:如何用Unidbg动态分析小红书so加密协议(附CRC32校验破解)

本文深入解析小红书移动端so加密协议,通过Unidbg框架实现动态分析,重点破解CRC32校验与白盒AES算法。文章提供从环境搭建到协议逆向的全流程实战指南,涵盖SO文件反混淆、动态Hook技术及加密算法破解,为移动安全工程师提供高效分析方案。

weixin_30823001的博客 340

window下安装并使用nvm(含卸载node、卸载nvm、全局安装npm)

文章目录一、卸载node二、安装nvm三、配置路径和下载源四、使用nvm安装node五、nvm常用命令六、卸载nvm七、遇到的问题 nvm 全名 node.js version management,顾名思义是一个nodejs的版本管理工具。通过它可以安装和切换不同版本的nodejs。 一、卸载node 如果你已经安装了node,那么你需要先卸载node,如果你没有安装那直接跳过这一步到下一步。 打开控制面板 -> 打开程序和功能 -> 右上角搜索输入node -> 右键卸载 为了确保彻底

HuangsTing的博客 41万+

Transformer 为什么能取代 RNN?从自注意力讲起

2017 年谷歌在《Attention Is All You Need》中提出 Transformer,核心是。它如今是 GPT、BERT、ChatGPT 的共同底座。

anew___的博客 982

《QGIS快速入门与应用基础》079:KML/KMZ格式:Google Earth兼容

KML/KMZ是专为地理可视化设计的空间数据格式,原生兼容Google Earth,支持点线面要素标注与多媒体集成。KML为XML文本格式,KMZ是其压缩版本。该格式优势在于可视化表现力强、跨平台共享便捷,适合地理标注、路线分享等场景,但存在属性支持弱、大数据量处理效率低等局限。QGIS中可便捷加载和导出KML/KMZ数据,需注意编码设为UTF-8、勾选"导出样式"以保留可视化效果。建议中小规模标注数据使用KMZ格式,确保关联资源完整,提升共享效率。

LuckyHanMo的博客 781

基于深度学习的商品评论情感分析系统-毕业设计

面向商品评论的中文情感分析系统,支持单条预测、批量分析、情感分布与关键词、报告导出。TextCNN、BiLSTM、Transformer 在同一词表、同一数据切分、同一种子与超参下公平对比,测试集 F1 分别为 0.9101、0.9089、0.9075。结论是这一规模下模型复杂度未带来收益,但误差结构不同。附技术栈、截图、文档预览与演示视频。

csbysj2020 162

GD32H757的can通信配置,提供方案参考!

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值。

**My Coding Family** 1844

海波龙(Hyperion,现属 Oracle)合并报表以 HFM(Hyperion Financial Management)为核心系统,方法论核心是以控制为基础确定合并范围,通过维度建模统一数据口径

摘要:海波龙合并报表系统(HFM)采用"规则驱动、维度建模"的方法论,通过四个核心环节实现自动化合并:确定合并范围、数据标准化、自动抵销调整及报表生成。系统支持多会计准则,以控制为基础划分合并方法(完全合并/权益法/成本法),通过维度建模统一数据口径,自动处理内部交易抵销、外币折算等复杂操作。业务操作流程涵盖数据采集、转换、抵销调整到报表生成全过程,关键控制点包括内部交易匹配、股权变动处理等。最终输出合规合并报表及完整审计线索,满足监管与管理需求。(150字)

金牌架构师 1307

神经网络入门指南:从 CNN、RNN 到 Attention

神经网络的学习,本质是“预测—比较—纠错”的循环;CNN 通过局部连接与权重共享理解图像;RNN 通过隐藏状态传递上下文;LSTM 和 GRU 用门控机制管理记忆;Encoder–Decoder 把理解与生成拆成两个阶段;Attention 则让模型在每一步都能主动寻找最相关的信息。到这里,我们已经走完了从普通神经网络到 Attention 的完整路线。下一篇将正式进入 Transformer,看看它如何摆脱 RNN 的顺序计算,又如何让每个 Token 直接找到与自己相关的信息。

爱敲代码的小黄 399

Oracle EBS 帐套(Ledger/SOB)如何定义会计主体、如何支撑多准则 / 多报告、组织与帐套的绑定关系、以及项目落地时的设计差异。下面从实现逻辑、核心要素、组织模型、多账簿、科目设计、项

本文对比了Oracle EBS R12与SAP S/4HANA在帐套(Ledger)设计上的核心差异。Oracle采用4C架构(科目/币种/日历/准则),帐套作为独立会计主体,主辅账物理隔离;SAP则以公司代码为主体,通过平行分类账在同一凭证中实现多准则核算。关键差异体现在:Oracle强调边界隔离,适合差异大的集团;SAP注重统一视图,适合实时合并需求。实施时需注意:Oracle避免过度建账套,SAP需统筹科目与维度设计。两者分别体现了"盒子"与"滤镜"的设计哲学。

金牌架构师 420

AI 学习第 15 课:变长序列不 pack 直接喂 RNN,隐状态全被 0 污染

NLP 的 batch 里句子长短不一,短句垫 0 补齐后直接喂 RNN,看似能跑,实际上每个 0 垫步都在更新隐状态——短序列的最后一步输出根本不是它真实句子的结果。这一课用 torch 2.15(

aifannihao的博客 167

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

CNN 卷积神经网络深度解析:卷积、池化与特征提取的底层原理

卷积核(Kernel),也叫滤波器(Filter),本质上是一个可以训练的权重矩阵。1 0 -11 0 -11 0 -1这个卷积核可以对图像中的局部像素进行加权计算。不同的卷积核能够提取不同类型的特征:水平边缘特征垂直边缘特征纹理特征角点特征局部形状特征在传统图像处理中,滤波器通常由人工设计。而在 CNN 中,卷积核的权重通过训练数据和反向传播自动学习得到。这也是 CNN 能够自动提取图像特征的关键。# 第一层卷积padding=1# 第二层卷积padding=1。

2503_90237586的博客 299

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

基于 YOLOv8 与 CRNN 的车牌识别 Web 系统

两个模型通过裁剪区域衔接:检测侧只判断"是不是车牌、在哪里",识别侧只负责"框里的字符是什么",任何一段换模型都不影响另一段。这种拆分让定位精度与字符识别能力可以分别迭代,也让训练数据各取所需——检测用标注框,识别用文件名编码出的号牌真值。

Michael_Jay的博客 326

【无标题】无人机视角道路坑洞坑洼目标检测数据集深度学习 目标检测 无人机航拍 道路坑洞 路面病害 YOLO格式 数据集发布9032期

(一)类别构成该数据集聚焦单一类别——坑洞(类别 ID 为 0),任务指向明确,围绕无人机俯视视角下的道路坑洞目标开展检测标注。类别体系精简,与公路路面病害巡检的实际需求高度契合,图像中的坑洞样本可直接作为路面破损识别的核心正样本,便于对接道路养护排查流程。(二)数据数量数据集规模为 3285 张无人机俯视航拍图像,采用标准 YOLO txt 标注格式,标注框总计 4457 个,其中带有效标注的图片 2007 张,全部图片均带有有效标注。

qq_2529413168的博客 190

基于深度学习的猫图像目标检测方法研究:YOLOv8s模型海选、多种子对比训练与Django+ONNX部署实现详解

本课题基于深度学习研究猫图像目标检测问题。数据集含1000张猫图像、1188个标注框,按固定比例划分并冻结清单;训练前在多个候选族中短训海选,确定YOLOv8s为主模型,经学习率搜索与显存标定后完成150轮训练,验证集mAP50达到0.92,并以7个随机种子的对比实验验证稳定性。最优权重导出为ONNX接入Django系统,提供图片、视频、摄像头三种识别方式,配套识别记录管理与统计大屏,形成从训练到应用的完整闭环。

WEIXIN_JSJBSZDS的博客 227

第 05/24 期:计算图与自动微分:深度学习如何计算梯度

本文系统阐述了神经网络训练中梯度计算的本质:损失对参数的敏感性。通过构建计算图,将复杂函数分解为基本运算,利用链式法则实现反向传播。核心在于反向模式自动微分——以一次前向计算为基础,通过传播输出对中间变量的敏感性,高效求得所有参数梯度。相比前向模式,反向模式在参数多、目标为标量的场景下更高效。计算图不仅适用于神经网络,也广泛适用于任意可微程序。关键思想是:梯度是局部导数与上游敏感性的乘积,分支路径的贡献需累加,从而保证导数计算的正确性与效率。

weixin_47502228的博客 344

【深度学习项目实战·30】PM2.5短期预测:用LSTM构造没有未来信息的滑动窗口

本文基于北京PM2.5数据,使用LSTM实现从最近24小时历史观测预测下一小时PM2.5。重点解决时间切分、因果填补、滑动窗口构建与标准化等关键问题,确保模型仅依赖过去信息,避免未来泄漏。通过滚动单步预测与持续性基线对比,评估在原始单位下的MAE/RMSE,验证模型有效性。强调时间顺序与数据完整性,为时序预测提供可复现的实践框架。

银尘博客 526

无人机巡检道路路面异常检测数据集 深度学习 目标检测 无人机巡检 道路病害 路面异常 YOLO格式 数据集发布9028期

无人机巡检道路路面异常检测数据集 深度学习 目标检测 无人机巡检 道路病害 路面异常 YOLO格式 数据集发布9028期

qq_2529413168的博客 213

深度学习 目标检测 无人机巡检 防震锤 电力设备 YOLO格式 数据集发布

深度学习 目标检测 无人机巡检 防震锤 电力设备 YOLO格式 数据集发布 9038期

qq_2529413168的博客 342

AI 学习第 14 课:CNN 训 6 轮卡在 0.5352,数据没打乱

第 13 课把 Conv2d 的参数量和池化后的尺寸算清了,这课把卷积块拼成一个能训练的完整网络,跑满 6 个 epoch。第一版直接卡死:loss 从 2.6104 掉到 0.6989 就再也不动,

aifannihao的博客 253

深度学习基本原理:从数学基础到神经网络训练

深度学习训练的核心,是先确定模型结构,再通过前向计算得到损失,利用链式法则和反向传播计算梯度,最后借助优化器与学习率不断更新参数。真正理解这条链路,后续学习更复杂的网络结构才有可靠的基础。

chh563的博客 193

计算机毕业设计选题推荐:【基于深度学习的车辆损坏严重程度评估方法研究】ResNet50 图像分类

系统用 ResNet50 完成轻微、中度、严重三档分类,输出类别、置信度和单次耗时;视频按每秒一帧抽帧识别,历史区同步出图,没识别出来的帧也保留原图;识别记录可检索、看详情和删除,大屏按类别、时段和任务类型做统计。训练采用迁移学习,部署走 ONNX,推理前加纯色和域外两道拒识,尽量避免把非车损画面硬判成某一类。

BYSJLG的博客 241

RNN 循环神经网络深度解析:从基本原理、网络架构到 PyTorch 实战

在深度学习领域,神经网络主要用于处理各种类型的数据,例如图像、文本、语音和时间序列数据。对于图像任务,CNN(卷积神经网络)能够通过卷积操作提取空间特征;而对于文本、语音、股票价格、传感器数据等具有时间顺序的数据,传统神经网络往往难以充分利用数据之间的时序关系。例如:自然语言处理:理解一句话中前后词语之间的关系。语音识别:根据连续的声音信号识别语音内容。时间序列预测:根据历史数据预测未来趋势。股票预测:根据过去一段时间的价格变化预测未来价格。当前时刻的数据通常与之前时刻的数据存在关联。

2503_90237586的博客 138

MIT 6.S191:深度学习导论 CNN记录

RGB图像的“三维”指通道、高、宽,非空间厚度。Conv2d中权重为四维(输出通道×输入通道×核高×核宽),每张输出特征图融合所有输入通道信息,通过加权求和后加偏置生成。初始权重从均匀分布随机初始化,取值范围基于输入维度归一化(如√27)。全连接层参数由设计者设定,如Linear(64×6×6, 1024)中的6×6由卷积与池化层数决定,具体尺寸依赖输入图像大小及网络结构。

TonyHsuM的博客 346
上一篇: DIY智能家居监控:用树莓派+Python打造低成本网络摄像机(附代码)
下一篇: ArcGIS工具栏自定义避坑指南:从基础布局到高级工作区保存
珊珊333333
博客等级 码龄17年 83粉丝 1375原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值