https://blog.youkuaiyun.com/xiake001/article/details/78403482
基本概念
协方差矩阵
线性与非线性
“线性”=”齐次性”+”可加性”,
“齐次性”是指类似于: f(ax)=af(x),
“可加性”是指类似于: f(x+y)=f(x)+f(y),
这里没有太多特别的原因, 就是一个名字. “非线性”当然就是这两条至少之一不成立.
似然函数
如何理解似然函数?
贝叶斯公式的直观理解(先验概率/后验概率)
详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解
凹凸函数
定义
若这里凸集C即某个区间I,那么就是:设f为定义在区间I上的函数,若对I上的任意两点 和任意的实数 ,总有
则f称为I上的凸函数,当且仅当其上境图(在函数图像上方的点集)为一个凸集。
判定
对于实数集上的凸函数,一般的判别方法是求它的二阶导数,如果其二阶导数在区间上非负,就称为凸函数。(向下凸)
如果其二阶导数在区间上恒大于0,就称为严格凸函数。
梯度下降法
[机器学习] ML重要概念:梯度(Gradient)与梯度下降法(Gradient Descent)
梯度下降(Gradient Descent)小结
激活函数
反向传播算法
1.重点参考:一文弄懂神经网络中的反向传播法——BackPropagation
2.如何理解神经网络里面的反向传播算法?
3.反向传播算法(过程及公式推导)
监督与非监督学习
主成分分析(Principal Components Analysis,PCA)
PCA是用来数据降维的。思想是:假设nxn的矩阵A,有协方差矩阵B,计算B的n个特征值和特