《信息论，推理和学习算法》学习笔记——概率，前向概率，反向概率

参考《信息论，推理和学习算法》

基本概念：

概率：随机试验中结果出现的频度；

置信度：个体对事件的猜测概率；注意此时该事件并无概率，只是对事件进行判断的主题根据现有证据，对事件属于某个分区的猜测；

概率法则保证：如果两个人做同样的假设，得到相同的数据，那么他们就会得到相同的结论。更广义地使用概率来量化置信则被称为贝叶斯观点，也被称为概率的主观解释，因为概率取决于假设；

前向概率

前向概率涉及发生模型，该模型描述在一定假设下产生一些数据的过程，任务是计算取决于数据的某个数量的概率分布或期望值；该模型常见于一般的概率模型，n次掷硬币，从罐子里取小球问题，均属于前向模型；下面以书2.4为例：

描述数据生成过程：从装有K个球的罐子中，其中B个黑球，K-B个白球，随机从中选取一个球，再放回去，如此重复N次

任务：计算取出黑球次数n的概率分布

如题，概率分布为：伯努利分布

反向概率

反向概率也涉及一个过程的发生模型，但是不用计算该过程产生的某个量的概率分布，而是计算在给定观察变量的前提下，过程中一个或多个未观察变量的条件概率。

以下例子为分析：

例2.6 共有11个罐子，标记为u属于{0， 1， 2， ..., 10}，每个罐子里装着10个球，罐子u中装着u个黑球，10-u个白球，弗雷德随机地选择罐子u，并从中有放回的取球N次，结果n次抽到黑球，N-n次抽到白球，弗雷德朋友比尔在一旁观察，如果N=10， n=3，那么从比尔的角度来看，弗雷德所选罐子是u的概率是多少（比尔不知道弗雷德选择u是那个）

生产过程：随机选择u，从u中有放回抽取N次，抽到n次黑球，N-n次白球

任务：已知最终选择的结果，计算不知道选择u的人，给出弗雷德所选罐子u的概率

从上面两个描述过程，说明反向概率与前向概率的区别，前向计算某个值得概率分布，而后向则是