m0_52186223的博客

支持向量机（Support Vector Machine）数理证明前置知识：拉格朗日数乘法、对偶问题、核技巧拉格朗日数乘法针对的是约束优化问题：例题：已知x>0,y>0,x+2y+2xy=8,则x+2y的最小值__。解：引入参数λ\lambdaλ 构造新函数L：x+2y+λ(x+2y+2xy−8)x+2y+\lambda(x+2y+2xy-8)x+2y+λ(x+2y+2xy−8)分别对x,y,λ\lambdaλ求偏导：Lx=1+λ(1+2y)=0Ly=2+λ(2+2x)=0

在学习了一段时间的《机器学习实战》后，发现该书针对的是实战，有很多公式推导和原理讲解都一笔带过，于是便购买了周志华的西瓜书进行学习，这篇笔记也多来自西瓜书，主要是熟悉一些概念词。

主要思想：根据现有数据对分类边界简历回归公式，以此分类。

基于概率论的分类方法：朴素贝叶斯优点：在数据较少的情况下任然有效（但是准确率也属于一言难尽），可以处理多类别问题。缺点：对于输入数据的方式较为敏感。适用数据类型：标称型数据。前置知识：条件概率，贝叶斯决策理论，相互独立相互独立：相互独立是设A，B是两事件，如果满足等式P(AB)=P(A)P(B)P(AB)=P(A)P(B)P(AB)=P(A)P(B)，则称事件A，B相互独立，简称A，B独立。条件概率：P(grey∣bucketB)P(grey|bucketB)P(grey∣bucketB)表示

决策树模型重要任务：是为了理解数据中所蕴含的知识信息，因此决策树可以使用不熟悉的数据集合，并从中提取出一系列规则，这些机器根据数据集创建规则的过程就是机器学习的过程。优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点：可能会产生过度匹配问题。范例：专家系统。如何构造决策树：编写构造树的python代码度量算法成功率递归建立分类器Matplotlib绘制决策树图利用信息论划分数据集，伪代码：IF (整个数据集属于同一个类型) return 类

K-近邻算法（KNN算法）学习模式：看懂原理，理解核心，读懂代码。原理：存在一个已知标签的数据集，将待分类的数据数据集中的数据进行比较，选出相似度高的前K（一般20）个，这之中出现次数最多的标签就是未知数据的分类。优点：精度高、对异常值不敏感、无数据输入假定。缺点：计算复杂度高、空间复杂度高。数据归一化:#避免因度量单位不同对模型的影响def autoNorm(dataSet): minVals = dataSet.min(0)#获得每一列的最小值 print(minVals