m0_48616382的博客

第六章 支持向量机 软间隔与支持向量回归支持向量机原理从几何角度，对于线性可分数据集，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是唯一的，且不偏不倚，泛化性能更好。模型给定线性可分数据集 ，支持向量机模型希望求得数据集 关于超平面的几何间 隔达到最大的那个超平面，然后套上一个 函数实现分类功能软间隔与支持向量回归...

第五章 神经网络M-P神经元M‑P神经元：接收n个输入，并给各个输入赋予权重计算加权和，然后和自身特有的阈值 进行比较，最后经过激活函数处理得到输出感知机神经网络

第四章 决策树算法原理1.逻辑的角度：一堆条件语句（if else）的组合2.几何的角度：根据一定的准则划分特征空间最终目的：产生一颗泛化能力强的决策树，将样本“越分越纯”，体现的是分而治之的算法思想ID3决策树C4.5决策树CART决策树...

第三章 线性回归3.1线性回归一元线性回归参数估计的方法1.最小二乘法基于均方误差最小化进行模型求解的方法称为最小二乘法，即试图找到一条直线，使所有样本到直线的欧氏距离之和最小均方误差、欧式距离最小化：argmin(w,b)=∑i=1m(f(xi)−yi))2argmin_{(w,b)}=\sum_{i=1}^{m}\left ( f(x_{i})-y_{i}) \right )^{2}argmin(w,b)​=i=1∑m​(f(xi​)−yi​))22.极大似然法估计极大似然估计的直

2.1 经验误差与过拟合1.误差2.m个样本样本，a个分类错误错误率：分类错误的样本数占样本总数的比例E=a/mE = a / mE=a/m准确率、精度：1−E1-E1−E我们实际希望得到的是在新样本上模型表现好的学习器。降低经验误差很容易，有些经验误差甚至为0，遗憾的是大多数这种情况都是不好的。过拟合：把训练样本自身特点当做潜在样本（需要被泛化的新样本）具有的一般性质。比较难解决出现原因：学习能力过于强大，把不太一般的特点给学到了欠拟合：对样本的一般性质尚未学好。

基础术语**分类：**预测的是离散值**回归：**欲预测的是连续值**有监督学习：**根据训练数据拥有标记信息**无监督学习：**根据训练数据没有有标记信息**泛化能力：**学得模型适用于新样本的能力**独立同分布：**我们获得的每个样本都是独立地从这个分布上采样获得的...