xiaoxiao_wen的博客

1.2 原题：通过经验最小化推导极大似然估计，证明模型是条件概率分布，当损失函数是对数损失函数时，经验最小化等价于极大似然估计。以下答案写起来比较简洁清晰。但存在一个问题，因为两个目标函数实际上不是相等的，不能直接划等号，但他们在找到最优参数的效果上是相等的，所以称为等价。而其它方式说明等价正确性没问题，但写起来会比较麻烦。要说明需要用到样本独立同分布的假设，而题目中没有提到这一点（我

2.3 题目：证明一下定理：样本集线性可分的充分必要条件是正实例点集和负实例点集所构成的凸壳互不相交。这里给出比较精确的数学证明，主要参考凸优化相关理论

4.1 用极大似然估计法推导朴素贝叶斯法中的先验概率估计公式和条件概率估计公式

EM算法 估计混合高斯模型参数 Python实现EM算法是一种用来解决含有隐变量问题的算法，混合高斯模型中对于某个数据我们并不知道是来自于哪个模型，因此可以视为隐变量，故可以采用隐含高斯模型来求解，混合高斯模型的具体推导可以参考《统计学习方法》9.3章节这里不给出详细的推导公式，其实就是参数的迭代，首先写出Q函数，然后再极大化Q函数得到迭代公式输入数据：datain=[-64,-48,

使用DFP算法求解最大熵模型的学习问题：DFP算法可以参加《统计学习方法附录B》，这里用该算法推导最大熵模型的学习问题。

CART—最小二乘回归树Python实现关于CART算法可以参考李航的《统计学习方法》这里不详细叙述，核心思想就是遍历寻找最优切分点来最小化平方损失函数，构建二叉决策树，这里采用递归算法假设输入数据为x     0            1          2         3         4         5         6         7         8

本文章总结了KNN算法字手写数字识别的应用，比较系统的对传统KNN和各种改进的KNN算法进行实现，由于完整的代码量较大（部分代码参考了机器学习实战），不适合全部贴出，但是博主乐于分享，有需要的话可以直接联系我，我会很乐意共享的，一希望大家能帮我校准文章的错误啦~~~首先用1500张手写数据进行训练，然后利用500张数字做测试，数据集大家可以搜手写数字识别数据集，网上很多，我过几天也会贴