2020-08-23训练过程--Batchsize选择多大对最优参数的影响

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 300+累计阅读 322平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄19年

关注

转载最新推荐文章于 2026-08-13 13:19:57 发布 322 阅读 AI 写同款· GEO 优化 ›

谈谈深度学习中的 Batch_Size 谈谈深度学习中的 Batch_SizeBatch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集（ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝阅读详情

https://blog.youkuaiyun.com/wydbyxr/article/details/84855489?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param

收录于

深度学习

当前文章被收录于：

深度学习

40 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

原文链接：https://blog.youkuaiyun.com/wydbyxr/article/details/84855489?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_para>

如何科学选择batchsize以优化模型训练效率本文深入探讨了如何科学选择batchsize以优化模型训练效率，分析了batchsize对训练速度、内存占用和模型性能的关键影响。通过实验数据和实战案例，提供了硬件限制测算、学习率协同调整和动态调整等实用方法论，帮助开发者在不同场景下找到最佳batchsize设置，显著提升深度学习模型的训练效率。阅读详情

相关推荐

显存大小并非 batch size 的唯一限制

显存是 batch size 的核心约束，但非唯一约束：显存决定了 “最大可能的 batch size 上限”，但计算效率、收敛稳定性、CPU 内存等会决定 “实际可用的 batch size”。batch size 影响显存的关键是 “中间激活值”：参数和梯度的显存占用是固定成本，激活值是随 batch size 变化的 “可变成本”。优化策略可打破显存限制：通过梯度累积、混合精度等方法，能在有限显存下实现 “等效大 batch”，或在大模型下运行小 batch。

mayaohao的博客 624

关于【batch】的一些问题

关于【batch】的问题

qq_43308156的博客 1万+

DenseNet核心原理与工业落地：特征复用、密集连接与参数效率

卷积神经网络（CNN）中，特征复用和跨层连接是提升模型鲁棒性与参数效率的关键设计范式。不同于ResNet的残差相加，DenseNet通过前馈式密集拼接实现逐层特征复用，从原理上缓解梯度消失、增强隐式集成能力，并显著降低显存占用。其技术价值体现在小样本学习、边缘部署与噪声鲁棒建模等场景，尤其适合医疗影像、工业质检与嵌入式AI等资源受限任务。growth rate、bottleneck结构与transition layer压缩比等参数并非固定超参，而是需根据数据复杂度与硬件约束动态调优的核心设计变量。本文聚焦D

cm333666的博客 547

【调参】batch_size的选择

当有足够算力时，选取batch size为32或更小一些。算力不够时，在效率和泛化性之间做trade-off，尽量选择更小的batch size。当模型训练到尾声，想更精细化地提高成绩（比如论文实验/比赛到最后），有一个有用的trick，就是设置batch size为1，即做纯SGD，慢慢把error磨低。

豆芽菜 6636

视觉特征-自监督-对比学习：SimCLR（在潜空间用对比损失最大化同一样本经不同数据增强所得视图间的一致性来学习表示）【Loss：对比损失函数】【同批次非同源样本作为负样本】【2020-02】

Abstract摘要本文提出了SimCLR：一个用于视觉表征对比学习的简单框架。我们简化了近期提出的对比式自监督学习算法，无需专门的架构或记忆库。为了理解是什么使对比预测任务能够学习到有用的表征，我们系统地研究了该框架的主要组成部分。我们表明：(1)数据增强的组合在定义有效预测任务中起着关键作用；(2)在表征与对比损失之间引入可学习的非线性变换，可显著提升所学习表征的质量；(3)与监督学习相比，对比学习受益于更大的批量大小和更多的训练步骤。

u013250861的博客 82

视觉特征-自监督-同源不同crop视图一致性【2021-04】：DINOv1【全局裁剪（覆盖原图较大区域）➜教师；全局&局部（覆盖原图较小区域）裁剪➜学生】【EMA学生来构建教师】【中心化&锐化】

在本文中，我们探讨自监督学习是否为 Vision Transformer (ViT) [19] 提供了区别于卷积网络（convnets）的新特性。除了将自监督方法适配到该架构后效果尤为出色这一事实之外，我们还提出以下观察：首先，自监督ViT特征包含有关图像语义分割的显式信息，而这种信息在有监督ViT和convnets中均不会如此清晰地出现。其次，这些特征也是出色的 k-NN 分类器，使用小型 ViT 在 ImageNet 上达到78.3%的top-1准确率。

u013250861的博客 305

训练神经网络时batch_size设置大小参考。

前言：在对神经网络进行训练时，大家经常会遇到一个超参数：batch_size 那么，batch_size究竟是什么，又该如何最优的设置这个值呢？ batch_size个人理解：将所训练的样本数量分为多少个为一组。这个值的大小与梯度下降的效率和结果直接相关。假设训练样本共m个，你设置batch_size为1，则每个样本都是一个batch_size。你设置batch_size为m，则所有样本组成这一个batch_size。 1与m也是两个极端。当设置为m时，此时梯度下降称为批量梯度下降法。你可以理解为神经

TANGerrr的博客 2万+

ViT实战避坑指南：patch embedding、位置编码与分辨率适配

视觉Transformer（ViT）并非简单将NLP中的Transformer迁移到图像领域，其核心在于图像到序列的语义化表征重构。理解patch embedding的本质——即局部语义基元的学习而非物理切割——是掌握ViT的第一道门槛；而位置编码的选择则直接关系模型对二维空间结构的理解能力，正弦波编码虽工程友好但缺乏空间相对性建模能力。ViT的技术价值体现在对高分辨率、小样本、跨域迁移等工业场景的适应潜力，典型应用场景包括医疗影像分析、工业缺陷检测与遥感地物分类。本文聚焦ViT落地中最易被忽视的三大硬核环

weixin_34405557的博客 398

训练过程--Batchsize（总之一般情况下batchsize能设多大就设多大）

尽可能地设大batchsize "Large Batch Large Batch在 keypoints上也是有用的，大概能提到0.4到0.3的点的AP。" 在利用 ImageNet 训练 AlexNet 模型时，其中每 GPU 的最优批量大小为 512。如果我们希望使用大量 GPU 并保证每 GPU 皆拥有理想的执行效率，则应当将批量大小设定为 16 x 512 = 8192。 "Tra...

wydbyxr的博客 12万+

视觉特征-自监督-同源不同crop视图一致性【2020-06】：BYOL（自举潜在表征）【在线网络+目标网络】【目标网络EMA更新】【停止梯度】【同图双视图预测一致】【无需负样本】【避免表征坍塌】

We introduce Bootstrap Your Own Latent (BYOL), a new approach to self-supervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view o

u013250861的博客 206

现代数据工程师必掌握的5大核心大数据框架

大数据框架是构建可扩展、高可靠数据基础设施的基石。从分布式存储（HDFS）到实时消息管道（Kafka），再到批流一体计算引擎（Spark/Flink）和统一SQL层（Hive），这些技术共同定义了数据处理的底层语义与工程边界。其核心价值在于支撑PB级数据规模下的低延迟、强一致性与可运维性，广泛应用于实时推荐、用户行为分析、风控建模与电商大屏等关键场景。本文聚焦Apache Spark、Flink、Kafka、Hive和Hadoop五大工业级框架，深入解析其在真实生产环境中的关键配置、性能命门与典型故障模式，

dielucui7698的博客 602

深度学习云训练实战指南：新手从本地到云端的完整工程化路径

深度学习模型训练已从单机实验迈向云原生工程实践。理解云训练的本质，需先把握其核心原理——资源解耦、环境契约化与数据服务化；技术价值在于提升复现性、可扩展性与协作效率；典型应用场景覆盖CV/NLP模型微调、超参搜索及MLOps流水线构建。本文聚焦新手最常卡点的三大环节：Docker容器化环境构建、云存储（GCS/S3/ADLS）数据接入、命令行驱动的训练调度配置，结合ResNet-18在CIFAR-10上的全链路实操，详解如何规避CUDA版本冲突、路径硬编码、日志不可见等高频故障，真正实现‘一次配置、多云运行

weixin_30271335的博客 445

实战指南：用Python实现ONVIF WS-Discovery设备发现（附完整代码）

本文提供了一份详细的实战指南，介绍如何使用Python实现基于ONVIF标准的WS-Discovery设备发现协议。文章深入解析了协议原理、网络通信模型，并提供了完整的代码实现，帮助开发者快速构建智能安防和物联网应用中的设备自动发现工具，有效提升网络设备集成与管理的效率。

chair的专栏 1114

AI题目整理

Batch size是指一次迭代过程中，输入到神经网络的样本数量。①耗时长，训练效率低。②训练数据就会非常难收敛，从而导致欠拟合。①大的batchsize减少训练时间②大的batchsize所需内存容量增加③大的batch size梯度的计算更加稳定④大的batchsize可能导致模型泛化能力下降一般需要考虑训练速度、泛化误差和模型收敛性等因素，根据模型的复杂度、训练数据集的大小、计算资源的可用性等因素进行调整，并结合实际情况进行优化调整。

GCTTTTTT的博客 3712

智能循迹小车之PID控制算法

从光电传感器获取信号确认小车和黑线的偏离角度，通过PID算法算出左右车轮速度，控制小车前进或者后退。

yzj199921的博客 4640

Robocup3d

一、比赛介绍 RoboCup 仿真比赛是一个能为多智能体系统和模拟智能进行研究、教育的工具。比赛是在一个标准的计算机环境中进行的，提供了一个完全分布式控制、实时异步多智能体环境。通过这个平台，可以测试各种理论、算法和Agent体系结构。在实时异步、有噪声的对抗环境中，研究多智能体的合作对抗问题。当然，仿真组的比赛使用的机器人并非是真的机器人。一个机器人是一个Agent, 它拥有自己的大脑，

zhanghe2775115的专栏 7265

Ψ0——人形全身VLA：先用800h人类自视角视频数据和30h的真实机器人交互数据预训练VLM，再后训练MM-DiT，最后用AMO做下肢RL跟踪

摘要：本文提出Ψ0模型，一种面向人形机器人全身操控的视觉语言动作基础模型。该模型采用多阶段训练范式：首先在大规模人类第一视角视频(800小时)上预训练视觉语言模型，学习通用运动先验；随后在真实机器人数据(30小时)上训练基于流模型的动作专家，实现精确关节控制。模型采用三重架构：视觉语言骨干网络(System-2)提取特征，多模态扩散Transformer(System-1)预测动作，结合现成的RL控制器(System-0)实现43自由度全身控制。实验表明，该方法相比联合训练范式能更高效地从人类视频中迁移知识

结构之法算法之道 4481

2、微软 Power Automate 入门指南

本文是一篇关于微软 Power Automate 的入门指南，详细介绍了 Power Automate 的基本概念、相关术语、登录方式以及如何创建一个简单的自动化流。文章还探讨了 Power Automate 在业务流程中的应用场景和优势，并展望了其高级功能和未来发展。适合希望快速入门 Power Automate 并提升业务自动化效率的读者。

corn8的博客 442

Sambert-HifiGan GPU资源占用分析：如何选择合适配置

🎯 核心结论速览1.显存决定下限：至少选择16GB显存GPU（如T4）才能稳定运行Sambert-HifiGan；2.算力决定上限：追求低延迟高并发应优先考虑A10G/3090及以上；3.软件优化不可忽视：FP16、JIT、ONNX等手段可让相同硬件性能提升50%以上。

weixin_36173034的博客 891

69页完整版智慧港口综合解决方案

智慧港口需求4港机远程操控等自动化改造需求自动化码头AGV无线通信及专用视频系统需求安全生产视频监控类需求港机RCMS及设备管理需求岸边智能理货码头三维全景应用智慧港口解决方案5自动化码头AGV/跨运车/无人集卡无线接入港机远控视觉及冗余无线通信视觉集卡防吊起系统集装箱码头岸边智能理货港机RCMS系统无线接入港机智能化管理（无线高清视频监控、一键报警、远程抄表系统）港口拖轮无线接入岸边溢油监测系统TD-LTE覆盖及业务终端接入港口生产管理系统港口可视化集群调度港口GiNMS综合网络设备智能管理全球作业效率最

zuoan1993的博客 2129

Transformer时间序列预测-多变量输入-单变量输出+多变量输出，完整代码数据，可直接运行

9794

深度学习与WMSST结合的工业故障诊断实战

时频分析是处理非平稳信号的核心技术，通过将信号分解到时间-频率二维平面揭示隐藏特征。WMSST（加权多尺度同步压缩变换）作为最新时频分析方法，通过自适应权重机制显著提升了特征提取能力。结合深度学习中的MCNN-BiGRU混合网络，既能捕捉多尺度空间特征，又能建模时序依赖关系，为工业故障诊断提供了端到端解决方案。该技术在旋转机械监测领域表现突出，在轴承故障数据集上达到98.7%准确率，特别适合处理振动信号中的早期微弱故障特征。通过Matlab工程实现，展示了从时频分析到深度学习模型部署的完整技术链路。

weixin_33885676的博客 404

在 SAP 世界里拥抱非 SAP 技术：一名 ABAP 开发者的成长路径与实战方法论

那段时间非常煎熬，但它带来的回报也很真实：你会更尊重“可观测性”的价值，也会更愿意在 SAP 场景里把日志、追踪、断言、隔离测试做扎实。解决这类问题，靠的并不是某个神奇的 SAP 函数，而是跨栈的工程设计：接口要有业务幂等键，SAP 侧要有落库与锁策略，返回要有可识别的状态码，异常要能回放，补偿要有可追踪的工单或队列。这套体系吸引我的地方，在于它更贴近真实业务：客户要的往往不是“能打印”，而是“能规范地输出”，包括版式、字体、条码、二维码、电子签章位置、分页规则、多语言、合规水印、可回写的交互字段等。

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 168

随机森林在地理空间精准农业中的实战应用指南

地理空间精准农业（Geospatial Precision Agriculture）旨在利用多源遥感与环境数据实现地块级农事决策，其核心挑战在于处理空间异质性、多源非线性关系及小样本高噪声现实约束。随机森林（Random Forest）凭借Bagging集成机制与特征随机分裂特性，展现出对农田噪声的天然鲁棒性与强可解释性，成为产量预估、变量施肥和病害预警等任务中稳定可靠的建模选择。结合Google Earth Engine（GEE）可实现时空对齐、逐田块特征提取与分钟级推理，显著提升模型落地效率。本文聚焦真

hwpokay的专栏 528

构建AI Agent驱动的智能健康管理系统

数据碎片化：健康数据分散在不同的设备和平台中，难以统一管理和分析。个性化不足：健康管理方案通常是通用的，难以根据个人的健康状况实时调整。用户参与度低：用户难以获得及时、个性化的健康建议，导致健康管理效果不佳。AI Agent是一个能够感知环境、采取行动以实现目标的智能实体。根据智能体的智能水平，可以分为简单反应式智能体和复杂适应式智能体。实时监测健康数据。获取个性化的健康建议。收到健康风险预警。

AI天才研究院 749

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明，包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Fast R-CNN在汽车检测中的实战应用与优化

目标检测是计算机视觉领域的核心任务之一，其核心原理是通过深度学习模型自动识别图像中的物体位置与类别。Fast R-CNN作为经典的两阶段检测算法，通过ROI Pooling层实现特征共享，大幅提升了检测效率。该技术在工业质检、自动驾驶等领域具有重要应用价值，特别是在汽车制造场景中，能有效解决复杂光照下的漏检问题。以Matlab为开发平台，结合ResNet50等现代网络架构，可以实现从数据标注到嵌入式部署的全流程解决方案。实战中需重点关注多任务损失函数调参、半精度推理优化等关键技术点，这些经验对工业级视觉系统

weixin_30247307的博客 329

SIMATIC S7-1200, S7-1500 PID 控制[手册]

上一篇：为什么我在gpu上训练模型但是gpu利用率为0且运行速度还是很慢？

下一篇：讲清楚embedding到底在干什么

显存大小并非 batch size 的唯一限制

mayaohao的博客

08-20

624