a_dreaming的博客

       本文约定：（，，，，）表示行向量（；；；；）表示列向量。       建议观看该部分内容前先对线性回归有个大致了解，可参看线性回归公式推导一、逻辑回归简介1.1 逻辑回归基础       逻辑回归虽然叫“回归”，但它实际上是一种二分类算法。逻辑回归利用Logistic函数（或称为Sigmoid函数），函数形式为：h(z)=11+e−zh(z)=\frac{1}{1+e

目录一、EM算法由来二、EM步骤三、EM算法导出一、EM算法由来       在估计模型参数的时候，一般使用贝叶斯法或者极大似然估计。但是在含有隐变量的情况下，用上述方法来估计会比较困难。于是诞生了一种近似实现对观测数据的极大似然估计，也就是EM算法。下面首先介绍为什么有隐变量的情况下，用极大似让估计会变得困难。       假设YYY表示观测变量，ZZZ表示隐变量，(Y,Z)(Y,Z)(Y,Z)合在一起的数据称为完全数据

【前言】很久没写个人学习笔记了，希望今天能以线性回归的推导作为一个开端，保持下去。一、数据形式线性回归作为最简单的机器学习算法之一，是后续众多复杂算法的基础，所以有必要从此处开始进行学习。在公式推导前，先给定相关的定义：假设*X*表示一个矩阵，其具体形式为：X = (...

       今天是第一次开始在csdn上面写博客，也是开始记录周志华《机器学习》、李航《统计学习方法》等书籍的读书笔记，让自己养成良好的读书习惯，通过写笔记进一步加深理解。       周志华《机器学习》中用西瓜的例子贯穿始终。判断西瓜是否是好瓜的依据：色泽，根蒂，敲声、文理、脐部、触感等。  &nbs...

一.假设空间设有三个数据集D={A,B,C,D}A=（色泽=青绿；根蒂=蜷缩；敲声=浊响；好瓜），B=（色泽=乌黑；根蒂=稍蜷；敲声=浊响；好瓜），C=（色泽=青绿；根蒂=硬挺；敲声=清脆；坏瓜）, D=（色泽=浅白；根蒂=稍蜷；敲声=沉闷；坏瓜）,        **所有属性可能的取值