学习笔记（一）——零散知识集锦

1.模块使用

执行import和from语句，可以对相应的模块进行调用。它们的主要差别在于，import会读取整个模块，且必须进行定义之后才能读取它的变量名；from获取（复制）模块特定的变量名。
我们首先自定义一个module，里面有一个方法为printer,还有一个变量Q。

# Filename: module1.py

def printer():
    print('hello world!')

Q='1.0'

接下来引用这个module有两种方式，可以发现两个方法都是可行的。

# 方式一
import module1

module1.printer()
print 'Q',module1.Q

#方式二
from module1 import printer,Q

printer()
print 'Q',Q 

2.parameter与Hyperparameter区别

参数就是模型可以根据数据可以自动学习出的变量，如深度学习的权重、偏差；超参数是用来确定模型的一些参数，超参数不同，模型是不同的，如学习速率、迭代次数、层数、每层神经元的个数。

3.元组与列表

• 列表可以修改但元组不能修改。
• 几乎在所有的情况下列表都可以代替元组，但是当使用元组作为字典的键，键不可以修改所以不能使用列表
• 在具体应用中，要区分开元组与列表的表现形式，以及要明确，列表出来的是字符串组成的一个元素。

4.batch_size，epochs，iterations

batch_size
深度学习的优化算法其实说到底就是梯度下降的过程，每次更新参数有两种不同的形式。第一种，整个数据集遍历一次算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。另一种，每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降，stochastic gradient descent。这个方法速度比较快，但是收敛性能不太好，可能在最优点附近晃来晃去，hit不到最优点。两次参数的更新也有可能互相抵消掉，造成目标函数震荡的比较剧烈。

为了克服两种方法的缺点，现在一般采用的是一种折中手段，mini-batch gradient decent，小批的梯度下降，这种方法把数据分为若干个批，按批来更新参数，这样，一个批中的一组数据共同决定了本次梯度的方向，下降起来就不容易跑偏，减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多，计算量也不是很大。基本上现在的梯度下降都是基于mini-batch的，所以深度学习框架的函数中经常会出现batch_size，就是指这个。

epochs
epochs被定义为向前和向后传播中所有批次的单次训练迭代。这意味着1个周期是整个输入数据的单次向前和向后传递。简单说，epochs指的就是训练过程中数据将被重复了多少次。

iterations
每一次迭代都是一次权重更新，每一次权重更新需要batch_size个数据进行Forward运算得到损失函数，再BP算法更新参数。1个iteration等于使用batchsize个样本训练一次。

例如：训练集有1000个样本，batchsize=10。

那么，训练完整个样本集需要： 100次iteration，1次epoch。

具体的计算公式为： one epoch = numbers of iterations = N = 训练样本的数量/batch_size