机器学习之批训练

机器学习入门之重要参数的理解

第一章 批数据训练（batch）

第二章  训练轮数（epoch）

第三章 学习率（LR : learning rate）

第四章 图像区块（patch）

第五章 滤波器（filter）

目录

机器学习入门之重要参数的理解

前言

一、批训练是什么？

二、批训练的作用

为什么说Batch size的增大能使网络的梯度更准确？

一个具体例子分析：

三、使用步骤

1.引入库  

2.读入数据

3.批训练（源码）

4.运行结果

4.1 下面这个图为BATCH_SIZE = 3 时的结果

4.2 下面这个图为BATCH_SIZE = 6 时的结果

 五、Batch_size调参注意事项 

总结

---

前言

在开启学习机器学习之前，我们先来了解了解机器学习中重要的参数吧，本文介绍了机器学习的基础内容之批数据训练。

一、批训练是什么？

         批训练，我觉得应再加上两个字为妙——批数据训练。

直观的理解：
Batch Size定义：一次训练所选取的样本数。
Batch Size的大小影响模型的优化程度和速度，也对GPU内存的使用情况有直接影响。

        在没有使用Batch Size之前，在训练时会一次把所有的数据（整个数据库）输入网络中，然后计算它们的梯度进行反向传播；由于在计算梯度时使用了整个数据库，所以计算得到的梯度方向更为准确。但在这情况下，计算得到不同梯度值差别巨大，难以使用一个全局的学习率。
        在小样本数的数据库中，不使用Batch Size是可行的，而且效果也很好。但是一旦是大型的数据库，一次性把所有数据输进网络，必引起内存爆炸，因此就提出Batch Size的概念。

二、批训练的作用

        为应对大数据和内存限制，我们常采用批训练的方式以提高训练效率。

为什么说Batch size的增大能使网络的梯度更准确？

梯度的方差表示：

由于样本是随机选取的，满足独立同分布，所以所有样本具有相同