Haiboy的博客

主成分分析PCA算法​ 主成分分析(Principal components analysis)，简称PCA，是最重要的数据降维算法之一。广泛的用于数据噪音消除和数据压缩消除冗余等领域。一、降维​ 常见的数据降维方法有：奇异值分解(SVD)、主成分分析(PCA)、因子分析(FA)、独立成分分析(ICA)。降维的必要性：多重共线性和预测变量之间相互关联。多重共线性会导致解空间的不稳定，从...

一、回归划分​ 广义线性模型家族中，依据因变量的不同，可以有如下的划分：（1）如果是连续的，就是多重线性回归。（2）如果是二项分布，就是逻辑回归。（3）如果是泊松（Poisson）分布，就是泊松回归。（4）如果是负二项分布，就是负二项回归。​ 逻辑回归名字中虽有“回归”二字，但它是分类算法。逻辑回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际...

线性回归模型可以说是机器学习的最基础算法模型了一、线性回归模型函数与损失函数​ 线性回归模型的基本形式为对于给定的n个属性的线性组合和取值得到一个预测的函数，即：hθ(x1,x2,...xn)=∑i=1nθixih_\theta(x_1,x_2,...x_n) = \sum\limits^{n}_{i=1}{\theta_ix_i}hθ​(x1​,x2​,...xn​)=i=1∑n​θi...

梯度下降—Gradient Descent一、梯度​ 在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x,∂f/∂y)T(∂f/∂x, ∂f/∂y)^T(∂f/∂x,∂f/∂y)T,简称gradf(x,y)grad f(x,y)gradf(x,y)或者▽f(x,y)▽f(x...