gigglehuahua的博客

本篇文章是根据视频（link.）所作的学习笔记，旨在对机器学习的相关知识更好的理解和巩固。本人基础较弱，推导中看不懂的公式可能会细究，如果有理解不当之处也欢迎指出。软间隔SVM（soft-margin SVM）当数据的可分性不高或者数据中存在一些噪声时，硬间隔SVM很难工作，这时就需要软间隔SVM来进行分类，即允许分类时存在一点错误。这个容错范围肯定是希望尽可能的小，所以用损失函数来表达：关键在于这个损失函数如何定义？（1）用错分的数据个数作为loss，此时：lo.

本篇文章是根据视频（link.）所作的学习笔记，旨在对机器学习的相关知识更好的理解和巩固。本人基础较弱，推导中看不懂的公式可能会细究，如果有理解不当之处也欢迎指出。之前介绍感知机算法的时候说到希望找到一个超平面，是两类数据不分错。我们想一下，仅仅要求不分错数据的超平面可能不止一个，而支持向量机SVM就是来寻找这个最优的超平面。怎么去定义和寻找这个最优超平面，就是本篇要介绍的内容。依然采用判别模型 对数据进行分类。硬间隔SVM（hard-margin SVM）硬分隔SVM也叫做最大间隔分类.

维度灾难当数据的特征维度不断增加时，很可能会产生维度灾难。以二值数据为例，每增加一个特征维度，样本数量就要增加倍。所以要使用一些降维的操作。常见的降维方法有：1）直接降维——特征选择；2）线性降维——PCA，MDS；3）非线性降维——流形降维。本篇文章主要是来介绍一下PCA算法的原理及使用步骤。PCA原理· 数据介绍PCA思想——“一个中心，两个基本点”一个中心是围绕着原始特征空间进行重构，使线性相关的特征转变为线性无关。两个基本点包括最大投影方差和最小重构代价。..

​本篇文章是根据视频（link.）所作的学习笔记，旨在对机器学习的相关知识更好的理解和巩固。本人基础较弱，推导中看不懂的公式可能会细究，如果有理解不当之处也欢迎指出。本篇主要介绍线性分类中的软分类模型（硬分类模型见上篇），用概率的方法进行分类。包括概率判别模型中的逻辑回归，概率生成模型中的GDA和朴素贝叶斯。概率判别模型：根据样本数据学习出一个模型，然后对待分类数据进行概率计算，结果与0.5进行比较即可分类。概率生成模型：根据两类样本数据学习出两个模型，然后将待分类数据带入到两个模型中，比较

​本篇文章是根据视频（link.）所作的学习笔记，旨在对机器学习的相关知识更好的理解和巩固。本人基础较弱，推导中看不懂的公式可能会细究，如果有理解不当之处也欢迎指出。线性分类概述· 数据介绍线性分类可以理解在线性回归的基础上利用激活函数或者降维操作对数据进行分类。线性可理解为对二维数据，能用一条直线将正、负样本分开；对三维数据，线性可分意味着能用一个平面将正、负样本分开；对n维数据，线性可分意味着能用n-1维超平面将正、负样本分开。线性分类包括硬分类和软分类（以二分类为例）：

​简单描述一下线性回归，即拟合出一条最适合数据（红点们）分布的函数（蓝色直线），如下图所示：可以将该问题描述成数学公式: ，为啥没有加噪声因素，先卖个关子。· 介绍数据1 LSE and MLE最小二乘估计LSE是将要拟合出的曲线形式，下一步求取里面的参数，这里使用最小二乘估计进行求解，损失函数为二范式的平方和（也可以理解为拟合值与真实值之差的平方和）。即：​

​本篇文章是根据视频（link.）所作的学习笔记，旨在对机器学习的相关知识更好的理解和巩固。本人基础较弱，推导中看不懂的公式可能会细究，如果有理解不当之处也欢迎指出。一维高斯分布设Data为，且服从高斯分布，即。对应的概率密度函数为：​

本篇文章是根据视频（ link.）所作的学习笔记，旨在对机器学习的相关知识更好的理解和巩固。本人基础较弱，推导中看不懂的公式可能会细究，如果有理解不当之处也欢迎指出。频率派VS贝叶斯派-频率派认为数据的分布是未知固定的，对应于统计机器学习的知识，主要实现对模型的优化（建立概率或非概率模型、设置模型的LOSS函数，求解损失函数优化模型）。-贝叶斯派则认为数据的分布是未知不固定的，借助一定的先验知识去寻求符合数据最优的分布。通常建立概率图模型，涉及到积分问题的求解。假设datadatadata为X=(x