BOTAK

主成分分析总体主成分分析定义和导出xxx是mmm维的随机变量，其均值为μ\muμ，协方差矩阵为Σ\SigmaΣ考虑由m维随机变量x到m维随机变量y的线形变换：yi=αiTx=∑k=1mαkixk , i=1,2,...,my_i = \alpha_i^Tx = \sum_{k=1}^m\alpha_{ki}x_k~,~i=1,2,...,myi​=αiT​x=k=1∑...

奇异值分解Singular Value DecompositionA=UΣVTA = U\Sigma V^TA=UΣVT奇异值分解可以看作是矩阵数据压缩的一种方法，这种近似是在平方损失下的最优近似。紧奇异值分解对应着无损压缩，截断奇异值分解对应着有损压缩。奇异值分解的定义与性质A=UΣVTA = U\Sigma V^TA=UΣVTU是m阶正交矩阵，V是n阶正交矩阵，是由∗∗降序∗∗排列...

摘要首先回顾一下贝叶斯和逻辑回归贝叶斯∏i=1np(xi∣y=1)p(y=1)−∏i=1np(xi∣y=0)p(y=0)>0\quad \prod_{i=1}^n p(x_i|y=1)p(y=1) \quad - \quad \prod_{i=1}^n p(x_i|y=0)p(y=0) \quad > 0 i=1∏n​p(xi​∣y=1)p(y=1)−i=1∏n​p(xi​∣y...

集成学习概要，解释了集成学习的概念，以及一些简单的集成学习的类别

摘要本文将以通俗易懂的方式介绍梯度下降算法的原理，以及文章的最后会去简要实现梯度下降算法（python代码实现）基本思想首先，我们需要了解梯度下降算法的原理，这里我举一个简单的例子：有一个农夫在山上砍柴，天色将晚，农夫准备从山顶走到山底的家，由于天气原因，可见度很低，他每走一步只能看到很短的一段距离，这里我们想一下，这位农夫怎样才能以最快的时间走到家，这里这位农夫就可以使用梯度下降算法了，...

决策树模型与学习决策树模型叶子结点，内部节点，有向边决策树的if-then规则可以将决策树看作是一个if-then规则的集合，将决策树转换成为if-then规则的过程是由决策树的根结点到叶子结点的每一条路径构建一条规则。决策树与条件概率分布决策树学习训练数据集D={(x1,y1),(x2,y2),...,(xN,yN)}D = \lbrace (x_1,y_1),(x_2,y_2),...

提升方法提升方法是指将弱学习算法提升为强学习算法的统计学习算法。在分类学习中，提升方法通过反复修改训练数据的权值分布，构建一系列的基本分类器（若分类器），并将这些基本分类器线形组合，构成一个强分类器。提升方法Adaboost算法Adaboost算法的特点是通过迭代每次学习一个基本的分类器，每一次的迭代中，提高那些被前一轮分类器错误分类的数据的权值，而降低那些被正确分类数据的权值。最后，Ada...

马尔可夫链蒙特卡罗法蒙特卡罗法思想：假设概率分布的定义已知，然后通过随机抽样获得概率分布的随机样本，通过得到的随机样本对概率分布的特征进行分析。for example：从随机抽出的样本中计算出样本均值，从而得到总体的期望。蒙特卡罗方法的核心：随机抽样主要有直接抽样，接受-拒绝抽样，重要性抽样随机抽样接受拒绝抽样input：抽样的目标概率分布的概率密度函数p(x)p(x)p(x)o...

SVMSuppot Vector Machine支持向量机有三宝，间隔，对偶，核技巧简而言之，SVM是一个二分类问题模型，总而言之，SVM就是找到一个超平面wTx+bw^Tx+bwTx+b，使得正类wTx+b>0w^Tx+b>0wTx+b>0，相反，负类wTx+b<0w^Tx+b<0wTx+b<0。本质是一个最大间隔分类器。{(xi,yi)},xi∈R,...

核方法kernel method背景kernel method:从思想角度kernel trick:从计算角度kernel function:从模型角度：非线形带来高维转换x−>ϕ(x)x->\phi(x)x−>ϕ(x)从优化角度而言：对偶表示带来内积（SVM）xiTxjx_i^TxjxiT​xj(避免了计算量大的问题)线形可分数据有一点点错误严格非...

要讲述SVD，首先来看一下EVD,也就是特征值分解EVDA是一个m * m的实对称矩阵（即A=ATA = A^TA=AT），那么他可以被分解为如下的形式公式一：A=Q∑QT=Q[λ1...............λ2....................................λn]QTA = Q \sum Q^T = Q \begin{bmatrix} \lambda_1 &a...