机器学习-白板推导学习笔记-1绪论

本篇文章是根据视频（ link.）所作的学习笔记，旨在对机器学习的相关知识更好的理解和巩固。本人基础较弱，推导中看不懂的公式可能会细究，如果有理解不当之处也欢迎指出。

频率派VS贝叶斯派

当概率引入到机器学习中，可以分为频率派和贝叶斯派进行讨论。

-频率派认为数据的分布是未知固定的，对应于统计机器学习的知识，主要实现对模型的优化（建立概率或非概率模型、设置模型的LOSS函数，求解损失函数优化模型）。

-贝叶斯派则认为数据的分布是未知不固定的，借助一定的先验知识去寻求符合数据最优的分布。通常建立概率图模型，涉及到积分问题的求解。

假设$data$为$X=(x_1,x_2,...,x_n{)}^T$，并假设X服从某种参数为$\theta$的概率模型分布$X\sim P(X|\theta )$，求解其中的参数$\theta$是为了找到一个合适的参数值或分布来使数据$X$出现的概率更大。由于频率派和贝叶斯派在数据分布上的区别，其对应的参数$\theta$ 求解有很大不同，分为极大似然估计MLE和最大后验概率MAP。

MLE和MAP

-极大似然估计MLE
在频率派中，把参数$\theta$看作是一个未知的常量进行求解,且$\theta$全部来自于观测数据X：
$${\theta }_{MLE}=\underset{\theta }{\mathrm{argmax}}P(X|\theta )=\underset{\theta }{\mathrm{argmax}}LogP(X|\theta )$$
(这里是假设$x_i$之间独立同分布，有$P(X|\theta )={\prod }_{i=1}^{n}P(x_i|\theta )$，所以两边同时加上Log变成连加来防止连乘结果的溢出)

-最大后验概率MAP
在贝叶斯派里，不把参数$\theta$看作是一个固定的常量，而是服从一定的分布。在求解$\theta$时，除了观测数据X外，还要加上一定的先验知识$P(\theta )$。通过贝叶斯公式可以得到求解参数公式为：
$$\begin{gathered} P(\theta |X)=\frac{P(X|\theta )P(\theta )}{P(X)}\propto P(X|\theta )P(\theta ) \\ {\theta }_{MAP}=\underset{\theta }{\mathrm{argmax}}P(\theta |X)=\underset{\theta }{\mathrm{argmax}}P(X|\theta )P(\theta ) \end{gathered}$$
(这里能写成正比于的原因是分母与$\theta$无关)
其中，$P(\theta )$称为先验概率，$P(X|\theta )$称为似然概率，$P(\theta |X)$称为后验概率。

-MLE和MAP的联系
通过公式可以看出，二者在$\theta$求解中的不同在于贝叶斯派中多了一个先验概率$P(\theta )$，判断是MLE还是MAP要先确定所求的$\theta$，（不一定是分布中的参数，而是所求的数据，也可以是y…）。当数据的先验分布$\theta$服从均匀分布，即$P(\theta )=1$时，MAP约等于MLE的结果。

推荐学习资料

up主给大家推荐了一些机器学习的相关资料。
书籍——李航，统计学习方法；周志华；机器学习（西瓜书）；PRML；MLAPP; ESL; Deep Learning
视频——林轩田，机器学习基石和技法；张志华，机器学习导论and统计机器学习；吴恩达，CS229; 徐亦达，概率模型；李宏毅，ML 2017，MLDS 2018

第一次写博文，对我来说是个不小的挑战，内容尚不完善，阅读的人还需多加包容。希望自己能够坚持学习坚持更新，不断吸收消化，逐渐高质量产出。