DataWhale 深度学习前两章

机器学习前两章

机器学习概论

1. 分类

   1. 有监督学习: 跟学师评
   2. 无监督学习: 自学标评
   3. 强化学习: 自学自评

2. 数学基础

   1. 线代
      1. 标量
      2. 向量
      3. 张量: 可以用来表示矢量、标量和其他张量直接的线性关系的多线性函数，其中标量是0阶张量，矢量是一阶张量，矩阵是二阶张量，三维数组称为三阶张量.
      4. 矩阵： 一个二维数组组成
      5. 矩阵的秩：矩阵列向量中的极大线性无关组的数目，记作矩阵的列秩，同样可以定义行秩。
      6. 矩阵的逆：矩阵和自己的逆矩阵相乘等于单位矩阵
   2. 概率
      1. 伯努利分布，也称0-1分布。
      2. 二项分布：KL散度，描述两个概率分布P和Q差异的一种方法，记作 D(P||Q)。。
      3. 均匀分布，也称矩形分布。
      4. 高斯分布，也：KL散度，描述两个概率分布P和Q差异的一种方法，记作 D(P||Q)。称正态分布。
      5. 指数分布。
      6. 多变量概率分布
         1. 条件概率
         2. 联合概率
         3. 先验概率
         4. 后验概率
         5. 全概率公式
         6. 贝叶斯公式
   3. 常用统计量
      1. 方差
      2. 协方差
   4. 信息论
      1. 信息熵：看样本平均信息量
      2. 联合熵：两个随机变量X和Y的联合分布可以形成联合熵。
      3. 条件熵：在随机变量X发生的前提下，随机变量Y发生带来的熵，定义为Y的条件熵，用H(Y|X)表示
      4. 互信息
      5. 相对熵：KL散度，描述两个概率分布P和Q差异的一种方法，记作 D(P||Q)。
      6. 交叉熵：用来求目标与预测值直接的差距，一类损失函数度量。
   5. 最优化估计
      1. 最小二乘估计：最小平方法，是一种数学优化方法。通过最小化误差的平方和寻找数据的最佳函数匹配。常用于回归问题，可以方便的求未知数。

courseLink: https://datawhalechina.github.io/unusual-deep-learning/#/README