翼遥君的博客

博客内容源于《统计机器学习》一书的阅读笔记。Python的源码实现源于《机器学习实战》部分内容。首先，需要回顾下面的三个重要的公式： 条件概率： P(A|B)=P(AB)P(B)P(A|B) = \frac{P(AB)}{P(B)} 全概率公式: P(A)=∑iP(A|Bi)P(Bi)P(A) = \sum_{i}P(A|B_{i})P(B_{i}) 贝叶斯(Baye

看理论之前先来【举个例子】： 对于一个未知参数的模型，我们观测他的输出，得到下图这样的直方图：我们先假设它是由两个高斯分布混合叠加而成的，那么我们该怎么去得到这两个高斯分布的参数呢？ EM算法！！1. 高斯混合模型假设观测数据 y1，y2，...，yNy_{1}，y_{2}，...，y_{N} 是由高斯混合模型生成的。 P(y|θ)=∑k=1Kαkθ(y|θk)P(y | \theta) =

博客内容源于《统计机器学习》一书的阅读笔记。Python的源码实现源于《机器学习实战》部分内容。1. K近临算法【算法描述】给定一个训练数据集，对于新的输入实例，在训练数据集中找到与该实例最近临的K个实例，这个k个实例的多数属于某个类，就把该输入实例分为这个类。【数学描述】 输入：训练数据集 T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_{1},y_{1}),(

博客内容源于《统计机器学习》一书的阅读笔记。Python的源码实现源于《机器学习实战》部分内容。1. 感知机模型感知机是二分类的线性分类模型，该模型的输入为实例的特征向量，输出为实例的类别，一般取+1和-1两个值。感知机将实例划分为两类，属于判别模型。1.1 模型定义【感知机定义】 假设输入空间（特征空间）是X⊆Rn \mathcal{X} \subseteq R^{n}，输出空间是Y={−1,