zhulf0804的博客

指数族和几何分布关于指数族和广义线性模型的相关知识，详情请点击。以为参数的指数分布为：（1）证明指数分布是指数族分布。于是，（2）使用具有几何反应变量的广义线性模型，执行回归，可得典型反应函数为：（3）给定一组训练集，令一个样本的log似然性为，下面我们求解随机梯度上升的更新规则。先写出，关于求导，得到

偏差方差分解——Bias-Variance Decomposition:expected loss = bias2 + variance + noise ：the prediction function trained on data set D：the optimal function,for regression, Expected loss of regression

半监督学习里高斯混合模型的推导证明我在这里先抄下周志华老师机器学习里面的结论——

数据下载地址：http://download.youkuaiyun.com/detail/zhulf0804/9719836这里采用的是k近邻算法（KNN）实现的手写数字识别。python实现代码：# -*- coding: utf-8 -*-import osimport numpy as npdef img2vector(filename, label): #图像数据转为向量

朴素贝叶斯算法的参数的最大似然估计设输入向量为。我们假定输入特征是离散的、二值化的变量，即。对每一个训练样例，输出对象是0或者1，即。我们的模型由参数化。我们把建模成伯努利分布，所以这是朴素贝叶斯最简单的特例之一。我们根据来建立的联合分布。（1）我们先写出。（2）计算关于各个参数的偏导数，令其为0，求得各个参数。先求，

第三部分  广义线性模型到目前为止，我们已经见到了一个回归的例子和一个分类的例子。在回归的例子里，我们有，在分类问题中我们有，和是某些合适定义的和的函数。在这节中，我们将会展示这两个方法都是一个更广泛模型族的特殊情况，（这个模型）被称作广义线性模型（GLMs）。我们也会展示GLM族的其他模型如何推导得出，如何被应用到其他分类和回归问题。8  指数族为了走进GLMs，我们将会以定

训练数据来源：http://archive.ics.uci.edu/ml/machine-learning-databases/balance-scale/balance-scale.data数据简介本训练数据共有625个训练样例，每个样例有4个属性x1,x2,x3,x4，每个属性值可以取值{1，2，3，4，5}。数据集中的每个样例都有标签"L","B"或"R"。 我们在这里序...

一、监督学习让我们首先谈一些监督学习问题的例子。假定我们有一个数据集，数据集中给出了来自俄勒冈波特兰的47所房子的居住面积(living areas)和价格(price)：我们可以将这些数据标识于图表上：给定这样的数据，我们如何学习基于居住面积的大小的函数，来预测波兰特其它房子的价格。为了建立以后使用的符号，我们使用表示“输入”变量（这个例子中的居住面积），也被称作

本节接着监督学习——线性回归继续讲述线性回归相关知识。3 概率解释当面对一个回归问题，为什么线性回归，精确地说为什么最小二乘代价函数，是一个合理的选择？在这节中，我们将会给出一组概率假设，在这组假设下，最小二乘回归是可以很自然得到的算法。让我们假设目标变量和输入变量通过下面等式关联在这里，是误差项，捕捉了未建模的影响（比如如果有一些因素对预测房子的价格非常相关的，但

现在让我们谈论分类问题。这就像逻辑回归一样，除了我们想预测的值只能取很少数量的离散值。现在，我们将会聚焦二值分类问题，在这个问题中只能取两个值，0和1。（大多数我们在这里提到的将可以推广至多类问题。）比如说，如果我们正努力构建一个邮件的垃圾邮件分类器，可以是一封电子邮件的一些特征，如果它是一封垃圾邮件是1，否则是0。0也被称作负类，1被称作正类，有时候他们也由“-”和“+”符号表示。给定，相对应的

本文接着上一篇生成学习算法之高斯判别分析模型，来继续讲述生成学习算法。2  朴素贝叶斯算法在GDA中，特征向量是连续的实值向量。现在让我们讨论一种不同的学习算法，在这个算法中，是离散值。对于我们的激励的例子，考虑使用机器学习建立一个电子邮件的垃圾邮件过滤器。这里，我们希望根据它们是未经请求的商业（垃圾）电子邮件还是非垃圾邮件进行分类。在学习了这样做之后，我们然后可以让我们的邮件阅读器自

第四部分  生成学习算法到目前为止，我们主要讨论了建模——给定下的的条件分布——的学习算法。例如，逻辑回归把建模成，这里是sigmoid函数。在这些讲义中，我们将讨论一种不同形式的学习算法。考虑一个分类问题，在这个分类问题中，我们想基于一个动物的一些特征，来学习区分是大象（）还是小狗（）。给定一个训练集，一个诸如逻辑回归或感知器的算法（基本上）试图找到一条直线—也就是一个分界线—来

用牛顿法求解代价函数的最小值，这里是n维向量,是实数。解  牛顿法（详细点此）迭代公式为，这里，是关于的偏导数向量；是一个n x n被称作Hessian的矩阵，其元素为。先求关于的偏导数上式即为向量的第个元素，所以其中，然后求解海森矩阵，所以，从而选择随机初始值，一次迭代后，我们发现

多元最小二乘问题假设我们有一组训练集,对每一个样例我们有很多输出，所以在这里,并不是一个实数，而是一个有个元素的向量。我们希望使用一个线性模型来预测输出结果，设,这里。1)代价函数，下面我们将代价函数写成矩阵—向量符号的形式。设则：，经过观察，发现的值即为矩阵元素的平方和的一半，而我们知道（容易证明）矩阵的元素的平方和等于，所以

深度学习基础知识神经网络让原始数据通过一个映射得到我们想要的数据。BP算法这里以三层神经网络为例进行推导，输入层2个节点，隐含层三个节点，输出层2个节点，如下图所示。激活函数采用sigmoid激活函数，损失函数为平方损失函数。总误差Ltotal=∑12(target−output)2=12(targeto1−outo1)2+12(targeto2−outo2)2\begi...