小9的专栏

特征值与特征向量 我们知道，矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。 实际上，上述的一段话既讲了矩阵变换特征值及特征向量的几何意义（图形变换）也讲了其物理含义。物

问题提出已知函数z=f(x,y)z=f(x,y)(本文假设它是凸函数，三维空间想象成抛物体，局部极值就是全域唯一极值)，现在要求minf(x,y)min f(x,y)只需求解方程组：⎧⎩⎨⎪⎪⎪⎪∂f∂x=0∂f∂y=0\left\{\begin{matrix}\frac{\partial f}{\partial x} =0 \\\\\frac{\partial f}{\pa

参数估计随机变量X属于某种分布，这样的分布是可以用概率函数表示出来的p(X=x)=f(x)p(X=x)=f(x)也就是说，要计算一个具体的x的概率，只需将x作为函数f的输入求值即可。常见的分布的概率函数有：两点分布：f(x)=px(1−p)(1−x)f(x)=p^x(1-p)^{(1-x)}，p又是什么呢，这里很容易引起混淆，它是x=1的概率，注意f(x)并不等于1，它是x取某

目标函数和约束条件(13)minα12∑i,j=1Nαiαjyiyj<xi,xj>−∑i=1Nαis.t.,∑i=1Nαiyi=00≤αi≤C" role="presentation">minα12∑i,j=1Nαi

线性模型对于线性可分的二分类数据集，我们总是可以写出：wTx+b" role="presentation" style="position: relative;">wTx+bwTx+bw^Tx+b这样的预测模型，其中w是各属性的权重，b是截距即线性回归中的w0" role="presentation" style="position: relative;">w0w0w_0在线性回归或逻

凸凸集的定义为：其几何意义表示为：如果集合C中任意2个元素连线上的点也在集合C中，则C为凸集。其示意图如下所示：常见的凸集有：　　n维实数空间；一些范数约束形式的集合；仿射子空间；凸集的交集；n维半正定矩阵集；这些都可以通过凸集的定义去证明。凸函数的定义为：其几何意义表示为函数任意两点连线上的值大于对应自变量处的函数值，示意图如下： 凸函数的一阶充

基本思想：反复使用弱分类器，这是一个迭代过程。在上一次分类的基础上，基于上次分类的错误率和错分样本，调整当次迭代的参数以优化上次分类的结果……弱分类器——单层决策树单层决策树其实就是一个树桩，在学得一个树桩（buildStump）的算法中，要尝试每个维度，尝试每种步长，尝试每种正负划分，得到一个分类的估计，在所有分类估计中选择错误最少的来作为结果（即学习结果）。也就是单层的最优划分方式。

1. 概念简介贝叶斯(约1701-1761) Thomas Bayes，英国数学家。约1701年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1761年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。贝叶斯定理也称贝叶斯推理，早在18世纪，英国学者贝叶斯(1702～176

PCA原理及实现

线性空间的度量首先用Hα=[hij]n∗nH_{\alpha}=\left [h_{ij} \right ]_{n*n}来表示线性空间的度量，其中hij=G(αi,αj)h_{ij}=G(\alpha _{i},\alpha _{j}) ， α\alpha 是空间中的一组基。 HαH_{\alpha}是一个对称矩阵。这样定义以后，有：对任意两个向量v1v_{1}和v2v_{2}，v1=

特征值分解与PCA一个矩阵的特征值分解可以将矩阵分解为更加规则和简单的子矩阵A=PTΣPA=P^{T}\Sigma P ，而且这些子矩阵从不同侧面描述了原矩阵的主要特征，如P（特征向量做列向量的矩阵）描述了新投影方向，在这个方向上A表示的线性变换速度最快，而Σ\Sigma描述了对应方向上的伸缩速度。但是不是所有矩阵都可以轻易地如此分解，当且仅当A有满秩的线性无关的特征向量，才可以做这样的分解。不过，

PCA和SVD做降维可视化的一个栗子

SVD的另一个应用示例：图像压缩

一、基本原理逻辑回归与线性回归Logistic Regression和Linear Regression的原理是相似的，按照我自己的理解，可以简单的描述为这样的过程：（1）找一个合适的预测函数（Andrew Ng的公开课中称为hypothesis），一般表示为h函数，该函数就是我们需要找的分类函数，它用来预测输入数据的判断结果。这个过程时非常关键的，需要对数据有一定的了解或分析，知