ML基础知识

1. 相关理论

1.1 NFL

        无论哪种学习算法，它们的期望性能是相同的。但其前提是：“问题”出现的机会相同｜所有问题同等重要。

1.2 奥卡姆剃刀

        若有多个假设与观察一致，选最简单的那个。

1.3 交叉验证

思想：重复的使用数据。

        可以保证所有数据都有被训练与验证的机会。

2. 一些技巧

2.1 Fine Tune

        用别人训练好的模型，加上自己的数据来训练新的模型。类似于迁移学习：使用别人模型的前几层，来提取浅层feature，然后在最后转入我们的模型中。

2.2 Mini Batch

一般选择128，过大则容易过拟合。

过大的batch size会带来明显的精度损失，因为这样样本随机性降低，梯度下降方向趋于稳定，训练由SGD向GD趋近，模型容易收敛到初始值附近的局部最优解。

可以通过增加BN层来规范特征分布，一般模型收敛比较好，特征分布比较稳定。

3. 监督学习

3.1 判别方法

        特点：直接学习的是条件概率P(Y|X)或决策函数f(X)，往往学习准确率更高；可以对数据进行各种程度上的抽象、定义并使用特征，可以简化学习问题。

3.2 生成方法

       特点： 可以还原出联合概率分布P(X,Y)(判别方法不能)，学习收敛速度快；当存在隐变量时，仍可用生成方法学习，但判别方法就不行。