hhjhh76的博客

PCA是一种降维的方法，用于将样本从较高的N维投影到较低的K维，PCA认为最好的K维空间是将样本点转换为K维后，每一维的样本方差都很大，方差较大保证了样本点在K维空间构成的超平面上的投影能尽可能的分开。那么如何能找到符合条件的K维空间了？下面以将样本投影到某一维为上为例： 首先对所有的样本进行中心化，即将样本减去他们的均值，上图中XiXiX_{i}为其中一个样本点，将XiXiX_{i...

一.贝叶斯分类器机器学习所要实现的是基于有限的训练样本尽可能准确的估计出后验概率，机器学习模型一般分为判别模型和生成模型。判别模型，给定x，直接建模P(c|x)来预测类别C,如决策树，BP神经网络，支持向量机等。生成模型先对联合概率分布P(x,c)建模，再由此获得P(c|x)，贝叶斯分类器就是一种判别模型。贝叶斯分类器分为3种：朴素贝叶斯分类器：不考虑属性间的依赖性；半朴素贝叶斯分类器：考...

一.梯度下降算法的推导在深度网络的训练过程中，为了使损失尽可能的小，经常使用梯度下降算法训练网络，为什么沿着负梯度的方向更新权值就能使损失值越来越小了，下面给出梯度下降算法的简要推导。 已知函数f(x),当前x取值x0x0x_0,另x1=x0+λn⃗ x1=x0+λn→x_{1}=x_{0}+\lambda\vec n,则： f(x1)=f(x0+λn⃗ )f(x1...

一.支持向量机支持向量机模型用于二分类问题，一般分为3种： 线性支持向量机：用于数据线性可分的情况 支持向量机：用于数据总体线性可分，但是有个别点例外 非线性支持向量机：用于数据线性不可分的情况二.线性可分支持向量机线性可分支持向量机学习的基本思想就是：求解能够正确划分数据集且与数据集几何间隔最大的分离超平面,加上几何间隔最大这个条件，超平面就唯一确定了...

K近邻法假设给定一个训练数据集，其中的实例类别已定，分类时，对新的实例，根据其K个最近邻的数据实例的类别，通过多数表决的方式进行预测。通俗点说，就是物以类聚人以群分，你身边的K个人大多属于什么类型，那么你就属于什么类型。