统计学习方法相关问题

统计学习方法相关问题

1. 概率与统计的关系如何？

http://blog.sciencenet.cn/blog-242272-1036214.html

2. 似然与概率之间的关系如何？

http://blog.youkuaiyun.com/u012284960/article/details/72859171

3. 什么是贝叶斯估计？

  贝叶斯估计要解决的是概率分布问题，即已知一些样本，他们满足某种分布，需要估计这种分布的参数或者新数据出现的概率。
  说到概率估计，就不能不先不提最大似然方法。最大似然是一种最基本的参数估计方法，它就是寻找最可能的参数，使得这些采样样本出现的概率最大。
  假设一个盒子的高度 h 满足正态分布 N(h, 1)，三次测量结果分别是 X={11, 10.5, 11.5}cm， 根据最大似然方法：

$$P(X|h)=\prod_{i=1}^N p(x_i|h)=\prod_{i=1}^N \frac{1}{2\pi}exp{\lbrace {- \frac {(x_i-h)^2}{\sigma^2}}\rbrace}$$
这里，
$$h=arg \ \underset{h}{max}=arg \ \underset{h}{max} \ logP(X|h)= arg \ \underset{h}{max} \ exp{\lbrace {\sum_{i=1}^N (x_i - h)^2} \rbrace}$$
  通过简单的计算，可以得到 h=11 cm，对新的测量的数据的可能出现概率，则由N(11, 1)给出。
  最大似然估计是在对被估计量没有任何先验知识前提下求得的。如果已知被估计参数满足某种分布，则需要用到最大后验估计。
  贝叶斯估计其实要解决的不是如何去估计参数，而是如何估计新的测量数据的出现的概率的。

参考：http://www.cnblogs.com/xueliangliu/archive/2012/08/02/2962161.html

4. 极大（最大）似然估计与极大（最大）后验估计的关系如何？

  极大似然估计（maximum likelihood estimation，MLE）。给定一组数据，假设数据服从某种分布，但是不知道这种分布的具体参数，即“模型已知，参数未知”。这时候，可以用 MLE 来估计模型的参数。MLE 的目标是找到一组参数，使得模型产生观测数据的概率最大。

  最大后验概率估计（maximum a posteriori probability，MAP）。假如参数有一个先验概率，则 MAP 要优化一个后验概率，使得在给定的观测值下， $\mu$ 的概率最大。

$$\widehat{\mu}_{MAP}=arg \ \underset{\mu}{max} \ p(\mu|X)$$

5. 什么叫泛函或泛函分析？

  泛函分析（functional analysis），是现代数学分析的一个分支，隶属于分析学，其研究的主要对象是函数构成的函数空间。