思索的IT脚印

经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型：自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。本篇是对逻辑回归的学习总结，以及广义线性模型导出逻辑回归的过程。下一篇将是对最大熵模型的学习总结。本篇介绍的大纲如下：1

最近接触了一点雅克比的东西，以前学习雅克比矩阵和雅克比行列式是在高数上，就知道个二重积分的时候可以用一下，其他的真没遇到过。最近在学习随机过程，在涉及到随机变量转化求解概率密度函数时，猛然冒出雅克比行列式让我刮目相看，于是再次学习这些东西。    首先介绍定义，雅克比矩阵是一阶偏导数以一定的方式排列成的矩阵，当其实方阵时，行列式称为雅克比行列式。设有m个n元函数组成的函数组：，称之

今天我来介绍一种在机器学习中应用的比较多的模型，叫做广义线性模型（GLM）。这种模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。 Contents    1. 

稀疏矩阵是指矩阵中的元素大部分是0的矩阵，事实上，实际问题中大规模矩阵基本上都是稀疏矩阵，很多稀疏度在90%甚至99%以上。因此我们需要有高效的稀疏矩阵存储格式。本文总结几种典型的格式：COO,CSR,DIA,ELL,HYB。 （1）Coordinate（COO）这是最简单的一种格式，每一个元素需要用一个三元组来表示，分别是（行号，列号，数值），对应上图右边的一列。这种方式简单，但