贝叶斯

本文深入探讨了贝叶斯学习算法在机器学习领域的核心作用,包括其能够计算显示的假设概率的能力,以及如何通过概率的先验知识进行有效推断。文章详细解释了贝叶斯公式及其在确定后验概率时的作用,同时介绍了极大似然假设的概念。此外,还讨论了正态分布的合理性和基本概率公式的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 贝叶斯学习算法与机器学习相关的两个原因:
    1. 贝叶斯学习算法能够计算显示的假设概率,比如朴素贝叶斯分类器。
    2. 贝叶斯方法为理解多数学习算法提供了一种有效的手段,而这些算法不一定直接操纵概率数据。

2. 贝叶斯方法的难度:
    1. 需要概率的先验知识。当概率预先未知时,可以基于背景知识、预先准备好的数据以及基准分布的假设来估计概率。
    2. 确定贝叶斯最优假设的计算代价比较大。

3. 贝叶斯公式:
    1. 贝叶斯公式提供了从先验概率p(h),p(D)和p(D|h)计算后验概率p(h|D)的方法: p(h|D) = (p(D|h)*p(h))/p(D)
    2. p(h|D)随着p(h)和p(D|h)的增长而增长,随着p(D)的增长而减少,即如果D独立于h时,被观察到的可能性越大,那么D对h的支持度越低。

4. 极大似然假设:
    1. 有时可假设H中每个假设有相同的先验概率,只需考虑p(D|h)来寻找极大可能假设。
    2. P(D|h)常被称为给定h时数据D的似然度,而使得p(D}h)最大的假设被称为极大似然假设 h = argmax p(D|h)。
    3. 假设空间H可以扩展为任意的互斥命题集合,只要这些命题的概率之和为1。

5. 基本概率公式表:
    1. 乘法规则:P(A 交 B) = P(A|B)P(B) = P(B|A)P(A)。
    2. 加法规则:P(A 并 B) = P(A) + P(B) - P(A 交 B)。
    3. 贝叶斯法则:P(h|D) = P(D|h)p(h)/p(D)。

6.  采用正态分布的合理性
    1. 数学计算的简洁性。
    2. 对许多物理系统的噪声都有良好的近似。
    3. 由许多独立同分布的因素的和所生成的噪声将成为正态分布。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值