lyl771857509的博客

https://blog.youkuaiyun.com/weixin_42398658/article/details/83017995

正则化方法：L1和L2 regularization、数据集扩增、dropout正则化方法：防止过拟合，提高泛化能力，减少部分特征的权重，进而忽略部分无关紧要的特征。因为考虑全部特征会将噪声加入进去，也就导致过拟合。在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training ...

前言说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。 minist手写数字识别就是用交叉熵作为代价函数。 1.从方差代价函数说起 代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx...

通过上篇softmax回归已经知道大概了，但是有个缺点，现在来仔细看看Softmax回归模型参数化的特点Softmax 回归有一个不寻常的特点：它有一个“冗余”的参数集。为了便于阐述这一特点，假设我们从参数向量  中减去了向量 ，这时，每一个  都变成了 ()。此时假设函数变成了以下的式子：换句话说，从  中减去  完全不影响假设函数的预测结果！这表明前

在 softmax回归中，我们解决的是多分类问题（相对于 logistic 回归解决的二分类问题），类标  可以取  个不同的值（而不是 2 个）。因此，对于训练集 ，我们有 。（注意此处的类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有  个不同的类别。对于给定的测试输入 ，如果输入的图片分辨率是28x28.则数据x是一个784的向量。我们想用假设函数针对每一个类...

一、PCA简介1. 相关背景主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩阵代数》两门课之后，颇有体会。最近在做主成分分析和奇异值分解方面的项目，所以记录一下心得体会。在许多领域的...

SMO算法# 加载数据def loadDataSet(fileName): dataMat = [];labelMat = [] fr = open(fileName) for line in fr.readlines(): lineArr = line.strip

一：损失函数，代价函数，目标函数定义首先给出结论：损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。关于目标函数和...

1. 回顾SVM优化目标函数　　　　我们首先回顾下我们的优化目标函数：minα12∑i=1,j=1mαiαjyiyjK(xi,xj)−∑i=1mαimin⏟α12∑i=1,j=1mαiαjyiyjK(xi,xj)−∑i=1mαis.t.∑i=1mαiyi=0s.t.∑i=1mαiyi=00≤αi≤C0≤αi≤C　　　　我们的解要满足的KKT条件的对偶互补

1 认识向量机支持向量机是处理数据分类问题，目的是学会一个二分类的函数模型，属于监督式学习的方法，被广泛应用于统计分类和回归分析。通过建立一个超平面对样本数据进行分类，超平面涉及到凸优化及核函数的应用，而对于怎么找到最优的超平面就是这部分要讲的内容。2 线性分类假设数据样本集是线性可分，即存在一个超平面将其分成两类。以下推导的过程都是基于线性可分，非线性分类是在线性分类加上

1决策树（Decision Trees）的优缺点决策树的优点：一、           决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。二、           对于决策树，数据的准备往往是简单或者是不必要的.其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。三、           能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的

机器学习系列之EM算法我讲EM算法的大概流程主要三部分：需要的预备知识、EM算法详解和对EM算法的改进。一、EM算法的预备知识1、极大似然估计（1）举例说明：经典问题——学生身高问题　　我们需要调查我们学校的男生和女生的身高分布。 假设你在校园里随便找了100个男生和100个女生。他们共200个人。将他们按照性别划分为两组，然后先统计抽样得到的100个男生的身高

贝叶斯分类贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝叶斯分类算法，希望有利于他人理解。1  分类问题综述 对于分类问题，其实谁都不会陌生，日常生活中我们每天都进行着分类过程。例如，当