概率模型中几个重要的概念,一直都知道它们被应用,却始终不留心。暮然回首,DP混合模型中,联合概率计算、条件概率计算以及边缘概率的推理和计算贯穿贝叶斯非参数模型。其中边缘概率和条件概率计算2种方法在计算后验分布中用的很广泛。
若边缘概率p(x)已知,并将其作为基于x的先验分布。在此种情况下,y值被观测到,那么条件概率分布p(x/y)相应的代表x的后验分布。通过边缘概率和条件概率,我们就可以很有效并直观的表示联合概率分布p(x,y)=p(y/x)p(x).
此图让你对联合概率的理解一幕了然(图贴不上来啊).可参考PRML图论章节。
持之以恒的博客,http://www.xperseverance.net/blogs/
另外,对充分统计量的一点简单理解:足够的信息量是我们进行精确数据分析统计的充分条件,对于E族而言,数据的概率密度依赖于自然的统计数据t(y)和现有的基础分布 q(y)&exp{beta(y)},所以我们要问既然数据都可以转换到E族下进行处理,那什么情况下我们要对数据进行变形,或者什么时候才能用到充分统计量?也就是什么样的模型能够产生足够的数据?
对于理论部分,看书很重要,记笔记很重要,用笔进行适当的运算也相当重要。一个都不能少。