qq_43900236的博客

文章目录1 间隔与支持向量2 对偶问题2.1 SMO3 核函数4 软间隔与正则化5 支持向量回归6 核方法1 间隔与支持向量给定训练样本集D，分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。直观上看，应该去找位于两类训练样本“正中间”的划分超平面，即如图所示中间的曲线，因为该划分超平面对训练样本局部扰动的“容忍”性最好，也就是说，该划分超平面所产生的分类结果是最鲁棒的，对未见事例的泛化能力最强。超平面方程如下描述：其中ω\omegaω为法向量，决定了超

文章目录1 神经元模型2 感知机与多层网络3 误差逆传播算法4 全局最小与局部极小5 其他常见神经网络5.1 RBF网络5.2 ART网络5.3 SOM网络5.4 级联相关网络5.5 Elman网络5.6 Boltzmann机6 深度学习1 神经元模型神经网络是由具有适应性的简单单元组成的广泛并行互连的网络神经元接收来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。典型激活函数有“

文章目录1 神经元模型2 感知机与多层网络3 误差逆传播算法4 全局最小与局部极小5 其他常见神经网络5.1 RBF网络5.2 ART网络5.3 SOM网络5.4 级联相关网络5.5 Elman网络5.6 Boltzmann机6 深度学习1 神经元模型神经网络是由具有适应性的简单单元组成的广泛并行互连的网络神经元接收来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。典型激活函数有“

文章目录一元线性回归多元线性回归对数几率回归二分类线性判别分析类别不平衡问题（Class-imbalance)一元线性回归输入的属性数目只有一个，对于离散属性，通过连续化的方式将其转化为连续值。学得：最小二乘法：基于均方误差最小化来进行模型求解，分别对w、b求偏导，同时令式子为0，可以求到w，b的闭式解。多元线性回归输入的属性数目有多个，同样试图学得：这里同样利用最小二乘法来对w，b进行估计，有求导为零可以得到w，b的符号解如下：最终得到线性回归模型：对数几率回归又叫作逻

前言之前有概述性的看过西瓜书，但中间看到很多不会的内容都会选择性的跳过。这次借Datawhale组队学习的机会再温习一遍西瓜书，争取把基础打牢固一些，方便后面理论方面可以更进一步的推进。当然顺便也练习自己写博客的能力。概述机器学习常分为两类监督学习：分类、回归无监督学习：聚类归纳偏好（inductive bias):维基百科机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”“没有免费的午餐”定理（No Free Lunch Theorem, NFL):维基百科当任何两种优化算法