木南曌的博客

原理 神经网络从大脑的工作原理得到启发，可用于解决通用的学习问题。神经网络的基本组成单元是神经元(neuron)。每个神经元具有一个轴突和多个树突。每个连接到本神经元的树突都是一个输入，当所有输入树突的兴奋水平之和超过某一阈值，神经元就会被激活。激活的神经元会沿着其轴突发射信号，轴突分出数以万计的树突连接至其他神经元，并将本神经元的输出并作为其他神经元的输入。数学上，神经元可以用感知机的模型表示。...

原理 SVM 是一种基于最大间隔分隔数据的算法。将数据集分隔开的决策边界被称为 分隔超平面(separating hyperplane)。形象地说，分隔超平面是一个N-1的对象，如果数据点分布在二维平面上，则分隔超平面就是一条直线；如果在三维空间上，就是一个平面。支持线性可分和线性不可分。 优点： 1 支持各种不同类型的数据集； 2 对高维数据集和低维数据集的支持都很好 缺点： 1 数据规模不能太...

决策树 原理 决策树是属于机器学习监督学习分类算法中比较简单的一种，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。 优点：1、很容易将模型进行可视化；2、不需要对数据进行转换 缺点：1、容易出现过拟合现象 具体用法 import numpy as...

原理 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。 贝叶斯定理 P(A∣B)P(A|B)P(A∣B) 表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为： P(A∣B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB)​ 贝叶斯定理之所以有用，是因为我们在生活中经...

常用的线性模型有线性回归、岭回归、套索回归、逻辑回归和线性 SVM 等。 线性回归 原理 线性回归(linear regression)是一种回归分析技术。线性回归试图学习到一个线性模型以尽可能准确地预测实值输出标记。通过在数据集上建立线性模型，建立代价函数(loss function),最终以优化代价函数为目标确定模型参数w和b,从而得到模型用以后续的预测。 具体用法 from sklearn....

算法原理 一个样本与数据集中的k个样本最相似，如果这k个样本中的大多数属于某一个类别，则该样本也属于这个类别。 K值选择 k 值对模型的预测有着直接的影响，如果 k 值过小，预测结果对邻近的实例点非常敏感。如果邻近的实例恰巧是噪声数据，预测就会出错。也就是说，k 值越小就意味着整个模型就变得越复杂，越容易发生过拟合。 相反，如果 k 值越大，优点是可以减少模型的预测误差，缺点是学习的近似误差会增大...