君陌的博客

一、SVM：1、相比于传统线性回归、逻辑回归的优势是什么？（1）预测结果是介于0和1之间的概率（2）可以适用于连续性和类别性自变量，适合二分类问题，不需要缩放输入特征（3）简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响（4）训练速度较快，分类的时候，计算量仅仅只和特征的数目相关2、支持向量是什么，如何确定？在支持向量机中，距离超平面最近的且满足一定条件的几个训练样本点被称为支持向量。3、多元SVM如何设计？SVM算法最初是为二值分类问题设计的，当处理多类问

五、神经网络1．神经元模型：神经网络是具有适应性的简单单元组成的广泛并行互连的网络，他的组织能够模拟生物神经系统对真实世界物体所做出的交叉反应。我们在机器学习中谈论神经网络时指的是“神经网络学习”，是机器学习与神经网络这两个学科领域的交叉部分。神经网络中最基本的成分是神经元模型，即上述定义中“简单单元”。在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学...

四、决策树1．基本流程：（1）决策树是基于树结构进行决策的，面对问题进行决策时，通常会进行一系列的判断或“子决策”，最后得到最终决策。决策过程的最终结论对应了我们所希望的判定结果。决策过程中提出的每个判定问题都是对某个属性的测试。每个测试的考虑范围是在上次决策结果的限定范围之内。（2）决策树的叶结点对应于决策结果，其他每个节点则对应于一个属性测试；每个节点包含的样本集合根据属性测试的结果被划...

三、线性模型：1．基本形式：线性模型试图学的一个通过属性的线性组合来进行预测的函数，即f(x)=w1x1+w2x2+…+wdxd+b，一般向量形式为f(x)=wx+b，其中w=(w1,w2…wd)。在w和b学得之后，模型就得以确定。个人理解：d的个数即训练集中特征的个数，然后每个特征可以提供一个wi，当所有的wi确定的时候，就可以得到一个完整的样本描述，这里学习器的形式就是一个线性组合，一个...

二、模型评估与选择：1、经验误差与过拟合：(1)“错误率”：分类错误的样本数占样本总数的比例，相应的，1-错误率=精度(2)“误差”：学习器的实际预测输出与样本的真实输出之间的差异(3)“训练误差”或“经验误差”：学习器在训练集上的误差(4)“泛化误差”：新样本上的误差(5)“过拟合”：我们实际希望的，是在新样本上能表现得更好的学习器，应当尽可能从训练样本中学出适用于所有潜在样本的“普...

一、绪论：1、机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即学习算法。个人理解：感觉上是教会计算机如何进行归纳总结，个人理解的话应该是有两个阶段，实现是需要进行大量的事实积累，也就是神经网络中的“训练”，而后在从中归纳出有用的“经验”。但问题是从“1+1”中归纳出“等于2”比较简单，二者的联系比较强；如何从“天阴了”中归纳出“回家收衣服”比较难，二者不是直接联系的，有...