最大似然估计
已知分布,寻找一个参数,使得这个分布发生的概率最大。
θ=argmax∏i=1np(xi;θ)\theta=argmax\prod_{i=1}^np(x_i;\theta)θ=argmax∏i=1np(xi;θ)
也可以理解为最小化KL散度。
举例:
一个硬币被抛了100次,61次正面朝上,假设正面朝上的概率分别为1/3,1/2,2/3,以上三个哪个是最大似然估计?
P(H=61∣p=13)=9.6×10−9P(H=61|p=\frac{1}{3})=9.6\times10^{-9}P(H=61∣p=31)=9.6×10−9
P(H=61∣p=12)=0.007P(H=61|p=\frac{1}{2})=0.007P(H=61∣p=21)=0.007
P(H=61∣p=23)=0.4P(H=61|p=\frac{2}{3})=0.4P(H=61∣p=32)=0.4
所以p=23p=\frac{2}{3}p=32是最大似然估计。
贝叶斯决策
1.基于最小错误概率
2.基于最小风险