深度学习笔记（一）：前期简单介绍

1. 先修课程
   高等数学（偏导数）
   矩阵论（向量/矩阵操作与性质）
   概率论（常见分布、贝叶斯法则）与数理统计（均值、方差、最大似然）
   最优化
   编程经验（python、matlab)

2. 流程
   数据集划分
   step1.收集数据集，标记数据
   step2.拆分数据集
   训练集——训练模型，确定模型/网络参数
   验证/开发集——调整超参数（学习率，正则化参数等），选择特征，以及对学习算法做出其他决定
   测试集——评估算法的性能

   当样本数量小于1万时    训/验/测——6：2：2
   在没有验证集时         训/测——7：3
   样本很大（百万级别）时  训/验/测——98：1：1
                         训/测——99：1
   

   step3.训练网络，随机梯度降
   step4.评价（查准率（精度）、查全率（召回））

3. 小样本学习
   （1）数据增广（argumentation)：数据变换，如缩放、翻转、旋转、颜色抖动、平移、加噪
   （2）迁移学习（learning)：将一个领域中学习到的知识和经验，应用到其他相似的领域中去
   （3）数据生成（generation）：CycleGAN，VAE等
   其他方法：Few-shot / one-shot / zero-shot learning ，activity learning

4. 开源工具包
   caffe2
   PyTorch
   Tensorflow

5. 应用深度学习的核心要素
   1、Data：大数据
   2、Hardware：GPU计算
   3、Talent：设计算法，使得深度学习模型可应用于解决特定场景问题