深度学习数学基础:
需要掌握四板块数学:
1.微积分: 极限 微分与泰勒级数 积分与微积分基本定理 牛顿法
微分学的核心思想是逼近。
一元微分学顶峰-泰勒级数:
牛顿-莱布尼茨:在一定程度上微分与积分互运算。
参考资料与作业:
2.概率统计:概率与积分 条件概率与贝叶斯公式 大数定律与中心极限定理 矩估计与极大拟然估计
对于离散随机变量,概率为概率函数求和。
贝叶斯公式:
大数定律与中心极限定理:随机变量的矩:矩可以描述随机变量一些特征,期望是“中心”位置一种描述,方差可以描述期望的分散程度,特征函数可以全面描述概率分布。
点估计-极大拟然估计:给定随机变量的分布与未知参数,利用观测到样本计算拟然函数;选择最大化拟然函数的参数作为参数估计量。
点估计的评判准则:相合性 无偏性 有效性 渐进正态性。
参考资料与作业:
3.线性代数:线性映射与矩阵 矩阵变换与特征值 奇异值分解 PCA (所谓大数据:数据量大,且维度高 线性代数专注如何去噪音)
线性空间:有原点的平面,原点O在空间中引入线性结构
基:线性空间中的一组向量,使任何向量都可谓一表示成该基的线性组合。(坐标系)
线性映射与矩阵:
相似变换:把矩阵看作线性映射
相似不变量
相似变换 正交相似变换
SVD:
应用举例-PCA降维(主成分分析):用作降维、可起到分类作用,比较广泛应用于图像识别,文档处理,推荐系统
PCA方式:1)首先计算变量之间的协方差矩阵 Σ(利用样本) 2)找到 Σ 的正交相似标准型 *正交相似标准性的求解由计算机完成,我们主要关心他的几何意义
参考资料和作业:
4.凸优化: 优化与凸优化 凸集与凸函数 对偶问题与KKT条件 SVM最简单形式 (凸优化的学习是为了针对机器学习中训练模型中的参数优化,例:梯度下降)
凸优化:1)凸优化问题逼近非凸优化问题,寻找非凸问题的初始点 2)利用对偶问题的凸性给原问题提供下界估计 3)凸优化问题可以给非凸问题带来一些启发
举例:
凸集合定义 凸函数定义
函数的上境图:假设 f 是一个定义在 Ω 上的函数,区域{(x, y) : y ≥ f(x), ∀x ∈ Ω} 就是 f 的上境图. 上境图就是函数图像上方的部分区域
一个函数是凸函数当且仅当 f 的上境图是凸集合
凸组合:
凸函数性质:
任意多个凸函数的逐点上确界仍是凸函数.
固定一个凸函数的若干个变量,所得的函数仍然是凸函数
凸函数的 sublevel set 都是凸集合.
琴生不等式
凸集合性质:任意多个凸集合的交集仍是凸集合
凸集分离定理 拉格朗日对偶函数
弱对偶性:d∗ ≤ p∗
强对偶性:d∗ = p∗ 强对偶性不总成立
强对偶性条件:如果存在一个可行域中的点 x 使得 fi(x) < 0, i = 1, · · · , m, 那么这个凸优化问题就满足强对偶条件
凸优化问题求解(KKT)
应用举例-支持向量机SVM:
参考资料和作业: