task1

Task1

伯努利模型

P(X=1)=p

P(X=0)=1−p

三要素

（1）极大似然估计
  模型：伯努利模型
  策略：经验风险最小化。极大似然估计，等价于当模型是条件概率分布、损失函数是对数损失函数时的经验风险最小化。
  算法：极大化似然：P(X|p)pargmax​L(p∣X)=pargmax​P(X∣p)

（2）贝叶斯估计
  模型：伯努利模型
  策略：结构风险最小化。贝叶斯估计中的最大后验概率估计，等价于当模型是条件概率分布、损失函数是对数损失函数、模型复杂度由模型的先验概率表示时的结构风险最小化。
  算法：最大化后验概率：∫P(X∣p)π(p)dpP(X∣p)π(p)​

对于伯努利模型的参数pp，根据贝叶斯估计，该参数也是随机变量。
  假设pp的先验分布\pi§π(p)为均匀分布，则最大后验概率估计等价于极大似然估计。
  一般在贝叶斯估计中，如果后验分布与先验分布属于同一分布簇（共轭分布），则称此先验分布为似然函数的共轭先验。

选取共轭先验有如下好处，例如：
（1）符合直观，先验分布和后验分布应该是相同形式的；
（2）可以给出后验分布的解析形式；
（3）可以形成一个先验链，即现在的后验分布可以作为下一次计算的先验分布，如果形式相同，就可以形成一个链条。

时间原因，待补。。。