Lixiaoyyyu的博客

支持向量/机支持向量机1.基本思想2.数学知识补充一3.基本原型和理论推导4.拉格朗日乘子法5.数学知识补充二3.核方法6.软间隔实验二级目录三级目录 支持向量机 1.基本思想 2.数学知识补充一 1、超平面的表示方法： 其中，w表示超平面的法向量；b为相对于过原点超平面的偏移。 下面两个公式分别表示超平面两侧的区域 2、点到超平面的距离公式 可以理解，超平面上的点都满足超平面方程，那么超平面外的点到超平面的距离与超平面方程左侧绝对值成正比，同时可知法向量w可以任意倍数缩放为不改变超平面，所以对w要归一

分类算法：logistic回归一、线性模型之回归1、线性模型二、线性模型之分类1、logistic回归2、实战 一、线性模型之回归 1、线性模型 线性模型一般形式为 由d个属性构成的实例x=（x1,x2,…,xd），xi表示x在第i个属性上的取值 线性模型试图学的一个通过属性的线性组合来进行预测的函数，一般形式为： 一般用向量形式写成： w，b学得之后，模型就得以确定 很多功能更为强大得非线性模型可在线性模型得基础上通过引入层级结构或高位映射而得。 w，b是如何进行学习得到的呢 当x为一维数据时，如下图

k-近邻算法实现手写体识别 k-近邻算法采用测量不同特征值之间的距离解决分类问题 优点：精度高、对异常值不敏感、无数据输入假定。 缺点：计算复杂度高、空间复杂度高。 K 近邻算法适用数据范围为：数值型和标称型。 K 近邻算法的工作原理是： 1.存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。 2.输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，

k-邻近算法的深入思考k-邻近算法的深入思考k值距离度量时间复杂度 k-邻近算法的深入思考 k值 knn算法通过选出k个与预测样本的欧式距离最近的类别，将数量最多的类别作为预测样本的类别，通过下图了解k值对结果的影响 可以看到当k值不同时，正方形代表的预测数据的结果不同。 所以knn算法中，k值是一个影响预测结果的超参数。 K值较小，则模型复杂度较高，容易发生过拟合，学习的估计误差会增大，预测结果对近邻的实例点非常敏感。 K值较大可以减少学习的估计误差，但是学习的近似误差会增大，与输入实例较远的训练实例也

机器学习实战，决策树前言一、决策树是什么？二、使用步骤1.熵2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、决策树是什么？ 决策树 是表示基于特征对实例进行分类的树形结构 从给定的训练数据集中，依据特征选择的准则，递归的选择最优划分特征，并根据此特征将训练数据集进行分割，使得各子数据集有一个最好的分类的过程。 决.

基于概率论的分类方法：朴素贝叶斯朴素贝叶斯1、公式推导2、算法实战 朴素贝叶斯 1、公式推导 朴素贝叶斯朴素贝叶斯算法，概率论公式推导 现有两个事件A，B,如何将A设为条件，那么在A发生得条件下，B发生概率计算如下， 类似的，可以得如下公式， 将公式（2）移项，那么易得 将公式（3）带入公式（1）易得 朴素贝叶斯假设B得各项事件相互独立 对于P（A），由全概率公式易得 B各项相互独立，由事件相互独立的性质，易得 公式（6）和代入公式（6）后的公式（5）代入公式（4） 即可求解在A各项条件下，B某