机器学习工程师

第1课 微积分

---

简介：数学在机器学习中的应用

模型建立与选择：对工程问题进行抽象和量化

• 涉及数学知识i：综合运用微积分，线性代数，概率统计以及组合数学的知识
• 例如：
  • 各类深度模型中的网络结构与损失函数
  • 支持向量机中的向量空间和度量
• 模型训练
  • 优化算法：高效稳定的对各类损失函数求极值
  • 涉及数学知识：微积分以及优化理论

微分学基本思想和方法

逼近是人类探讨复杂问题时经常使用的一种手段：

• 人均GDP：使用常数函数来逼近收入分布函数
• 平均速度：使用线性函数来逼近实际运动轨迹
• 年化收益率：使用指数函数来逼近收益函数

微分学的核心思想：函数逼近

      微分学的核心思想是用熟悉且简单的函数对复杂函数进行局部逼近。

常用作逼近的简单函数包括：

• 线性函数：函数的一阶导数
• 多项式函数：泰勒级数

当你的局部很小的时候，你可以进行局部逼近，局部逼近才可以使用微积分，往后的延伸，都是局部的。

一个变量的线性函数：$y=kx+b$
两个变量的线性函数：$y=k_1{x}_1+k_2{x}_2+b$

二次多项式：$y=a{x}^2+bx+c$
多元多项式：$y=k_{11}{x}_1^2+k_{12}{x}_1{x}_2+k_{22}{x}_2^2+\dots \dots$

微积分的基础语言：极限论

极限的表述方式：

• 自然语言：当$x$趋向于$a$时，$f(x)$的极限是L。

• 数学符号：$\underset{x\to a}{\lim }f(x)=L$

• 标准语言：对于任意的 $ϵ$ > 0 ，存在一个 $\delta$ > 0 ,使得对于任何的$x_{\ast }\in (a-\delta ，a+\delta )$，都有$|f(x_{\ast })-L|<ϵ$

• 无穷小
  一般把趋于零的极限称为无穷小
  无穷小阶数：
  趋于零的速度越快的无穷小，其阶数越高。比$x^n,x\to 0$，趋于零输入还快的无穷小记为$o(x^n)$

• 两边夹定理
  如果$f(x)<g(x)<h(x)$，而且这三个函数都在a点处有极限，那么$\underset{x\to a}{\lim }f(x)\le \underset{x\to a}{\lim }g(x)\le \underset{x\to a}{\lim }h(x)$

• 重要极限：(两边夹定理应用)

  • 三角函数：$\underset{x\to 0}{\lim }\frac{sin(x)}{x}=1$
  • 自然对数底数：$e=\underset{n\to \infty }{\lim }(1+\frac{1}{n}{)}^n$
  • 指数函数：$\underset{x\to 0}{\lim }\frac{e^x-1}{x}=1$

30分

微分学的基本手法：求导数

从线性逼近到多项式逼近：泰勒级数

从低维到高维：多元函数的梯度

梯度下降法和牛顿法

随机梯度下降

随机梯度下降的问题与挑战

随机梯度下降的优化算法选讲

第2课 概率论

第3课 线性代数

第4课 凸优化

第5课 回归问题与应用

第6课 决策树、随机森林、GBDT

第7课 SVM

第8课 最大熵与EM算法 -1

第9课 最大熵与EM算法 -2

第10课 机器学习中的特征工程处理

第11课 多算法组合与模型最优化

第12课 高级工具xgboost/lightGBM与建模实战

第13课 用户画像与推荐系统

第14课 聚类

第15课 聚类与推荐系统实战

第16课 贝叶斯网络

第17课 隐马尔科夫模型HMM

第18课 主题模型

第19课 神经网络初步

第20课 卷积神经网络与计算视觉

第21课 循环神经网络与自然语言处理

第22课 深度学习实战

公式

公式
$\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$
$y^{\infty }2$
$y^2$
$y2$
$y^2$
${\inf }_2$
$y_2$
$y2$
$a_2^{2^{2^2}}$
$2^{3}2,a_{1}2$
$2^{32},a_{12}$
$1+\frac{1}{2+\frac{1}{3+\frac{1}{4+\frac{1}{5+\dots }}}}$
$\underset{x\to 0}{\lim }x\frac{x}{sinx}$
$\sum _{k=1}^{n}kx$
$$\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{e}^{-t}dt.$$