Francis_s的博客

1. EM 某批数据因为一些中间过程我们看不到，所以不可以直接观测变量X 最经典的例子就是三个不同的盒子装了各五个球，里面有数量不一的红黑两种颜色的球，如果我们可以看着他先选什么盒子，然后增大实验次数，我们可以近似地得到每个盒子里面红黑两种球的概率，但现在老板不给我们看他选什么盒子了，直接让我们估计每个盒子里面红黑球的比例，这时就需要引入隐变量了 所以换句话说隐变量是一种不能被直接观察，但是却影响系统状态和输出的一种存在。 ...

之前自己一直理解不来MLE和MAP的区别，脑筋一直拗不过来，今天难得没课重新捡起来，解决一下最重要的就是怎么理解模型的参数在公式里面的地位，充当什么角色！基本上每一篇博客都会介绍一下品频率学派和贝叶斯学派，一开始觉得怎么都千篇一律，后来发现还真有点道理。频率学派，我自己理解就是概率，他们觉得当前这个模型的参数已经上天安排好了，也就是固定的，我们的任务就是找到的麻，所以直接对数据（样本）进行建模。用MLE进行操作贝叶斯学派，我自己理解就是统计，他们觉得这个参数上天没安排好，这个参数其实.

这一节看的时间跨度比较大，先写着，后面再整理HMM的概率图模型：其中，白圈代表的是隐变量，带阴影的是观测变量，然后t就是时间次数，我在这里就理解为更新次数了。1. 基本信息HMM模型最重要的三个东西：一个模型（包含：一个，表示初始的概率分布；一个A，状态转移矩阵；一个B，发射矩阵。）两个假设（1.齐次马尔可夫假设；2.观察独立假设） 三个问题（1.evaluation问题；2.Learning问题；3.Deco...

1. EM期望最大算法 最最最普通的MLE表达式：，其中 这个算法其实是分为两个步骤：第一步是E-step：我们先把上一步求得1.证明EM公式是怎么来的（Jensen不等式） 首先要先知道隐变量是什么东西，他为什么存在。 譬如我们观测到某个广义上的隐变量主要就是指“不能被直接观察到，但是对系统的状态和能观察到的输出存在影响的一种东西，所以我们需要用一个比较笼统的东西去概括这个不被直接观察到的东西，所以我们用隐变量...

1.1 提升方法（AdaBoost） boosting(提升方法)的主要思想就是改变训练样本的权重，学习多个分类器（弱可学习，强可学习），然后将这些分类器进行线性组合，从而提高分类的性能。 下面会去研究AdaBoost的具体做法。然后通过训练误差分析去了解为什么AdaBoost可以提高学习进度。然后从前向分布算法去解释AdaBoost。最后再了解提升树（Boosting Tree）的具体做法。 首先就是一些大前提背景： 强学习和弱学习的...

好久没上来写总结了，旅完游回来继续补上这一章主要讲的是支持向量机SVM，基本模型就是定义在特征空间上的间隔最大的线性分类器，主要的框架就是支持向量机是怎么工作的，其中的核函数，核技巧的作用和实现细节。学习策略就是使得间隔最大化=求解凸二次规划=正则化的合页损失函数的最小化问题。支持向量机可以分为三种情况，线性可分SVM，线性SVM，非线性SVM当数据是线性可分的情况，我们通过硬间隔可以直接分类，称为线性可分支持向量机当数据是近似地线性可分的情况，我们通过软间隔最大化来提高容错几率，从而实

1. 对偶问题的求极值，这么多个变量有先后顺序吗？按照什么规则来？2.SVM里为什么非要函数间隔设置为1，书上说的函数间隔的取值对优化没有影响的具体形式是怎样的？

1.1 logistics回归与最大熵模型 两者都是分类模型，并且两个都是对数线性模型1.1.1 logistics回归 其实逻辑回归是由线性回归演变过来，我们在寻找一条曲线，这条直线可以将样本中的两个类尽可能地区分开来，而这条线也就是理解为输入一个样本，然后通过这条线输出一个值。重点来了，我们这个是分类模型，也就是输出一个标签（0/1），但是我们怎么把这个值映射到0/1标签上呢？于是我们引入了跃阶函数来表达： 但是发现在x=0处是不可导的，于是...

1. 决策树 决策树可以用于分类和回归的应用里面，这里讨论的决策树是一个二叉树的形式，我们可以用伪代码的方式去表达出来：决策树就是一个 if-then 的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。利用训练数据，根据损失函数最小化的原则建立决策树模型，其中包括：特征选择，决策树的生成，决策树的剪枝三个步骤。 下面讨论的都是分类决策树，除了CART树会讨论到回归树1.1.1 决策树模型 定义：决策树由结点和有向边组成，其中，结点由内部节点...

4.1 朴素贝叶斯朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法，求出后验概率最大的输出y4.1.1 基本方法 了解贝叶斯关键就是了解公式上每一步都是代表着什么含义 设输入空间，输出空间为类标记集合...

3.1 K近邻算法K近邻法的输入为实例的特征向量，对训练集的特征空间进行划分，然后输出为实例的类别。（1）根据给定的距离度量，在训练集中找出与 最邻近的K个点，涵盖这K个点的的领域记作K值的选择，距离度量，分类决策规则是K近邻算法的基本三要素...

2.1 感知机感知机二类分类的线形分类模型，输入为实例的特征向量，输出为实例的类别，取+1和-1值 感知机对应输入空间中将势力划分为正负两类的线形划分的分离超平面，属于判别模型 定义：假设输入空间(特征空间)是...

1. 机器学习的分类1.1监督学习监督学习就是从标注数据中学习预测模型的机器学习问题，本质就是学习输入到输出之间的映射的规律 所以我们会定义好输入空间，输出空间，特征空间 输入空间：输入中所有有可能的取值的集合，记为X，输入变量取值为x 输出空间：输出中所有有可能的取值的集合，记为Y，输入变量取值为y 特征空间：每一个具体的实例（输入）都是由特征向量表示的，这是，所有特征向量存在的空间就是特征空间 ...