一座青山的专栏

理论部分：         k近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例多数属于某个类，就把输入实例分为这个类。这就是k近邻算法的直观描述。k近邻算法中，当训练集、距离度量、k值和分类决策规则（例如：多数表决）确定后，对于任何一个新的输入实例，它所属的类唯一地确定。（注：k近邻算法的描述中标记了这四个要素的位置！）训练

                                            AdaBoost算法原理前言1、AdaBoost（Adaptive Boosting）是boosting类算法最著名的代表。2、Kearns 和 Valiant首先提出了“强可学习” 和 “弱可学习”的概念。指出：在概率近似正确学习的框架中，一个概念（一个类），如果存在一个多项式的学习算法能够学习它...

这篇博文的记录思路：1、说明集成学习的定义即什么是集成学习。2、说明集成学习的分类。3、按照分类介绍。4、其他相关概念和经验的罗列。集成学习的定义集成学习的一般结构：先产生一组“个体学习器”，再用某种策略将他们结合起来。（“个体学习器”举例：由C4.5决策树算法、BP神经网络算法、LR、线性回归等生成的学习器。）集成学习的分类根据个体学习器的生成方式，目前的集成学习大致分为两大类：...

点到平面的距离公式准备知识平面的一般式方程Ax +By +Cz + D = 0其中n = (A, B, C)是平面的法向量，D是将平面平移到坐标原点所需距离（所以D=0时，平面过原点）向量的模（长度）给定一个向量V（x, y, z),则|V| = sqrt(x * x + y * y + z * z)向量的点积（内积）给定两个向量V1(x1, y1, z1)和V2(...

刚开始接触这个东西，由于之前一直是在linux环境下开发，就直接在linux服务器上开始了环境的配置，安装到最后发现没有UI貌似使用不了jupyter notebook。由于总是使用linux环境，心中莫名的排斥在windows下做开发，所以就在虚拟机上配置环境，最后发现虚拟机上的浏览器在jupytre notebook运行时，页面上的运行按钮不能正常显示 + 虚拟机感觉很慢，用户体验非常差。

决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的判定，每个分支代表这个特征属性在其值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。决策树的构造过程不依赖领域知识，决策树的构造就是根据计算公式（信...

今天来讲BP神经网络，神经网络在机器学习中应用比较广泛，比如函数逼近，模式识别，分类，数据压缩，数据挖掘等领域。接下来介绍BP神经网络的原理及实现。 Contents   1. BP神经网络的认识  2. 隐含层的选取  3. 正向传递子过程  4. 反向传递子过程  5. BP神经网络的注意点  6. BP神经网络的

ContentsBP神经网络的认识隐含层的选取正向传递子过程反向传递子过程BP神经网络的注意点BP神经网络的C++实现1. BP神经网络的认识BP（Back Propagation）神经网络分为两个过程（1）工作信号正向传递子过程（2）误差信号反向传递子过程在BP神经网络中，单个样本有个输入，有个输出，在输入层和输出层之间通常还有若干个隐含层。实际 上，1

由于不知道：联合概率：表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P（A∩B）。P(AB)等价于P(A,B)导致自己一直和困惑带 “逗号” 的条件概率公式的推广，特此记录。

最近在做网站的个性化搜索，计划从性别模型入手，打算使用K近邻算法对未登录的用户进行性别的 预测，所以搜索了相关的算法，目前并未实践，先转载一篇博文，后续有了实践经验再写文章详述。0 前言：聚类分析是一种重要的人类行为，早在孩提时代，一个人就通过不断改进下意识中的聚类模式来学会如何区分猫狗、动物植物。目前在许多领域都得到了广泛的研究和成功的应用，如用于模式识别、数据分析、图像处理、市

GBDT即可用于解决回归问题，也能用于解决分类问题。在初步理解GBDT时，最好从回归和分类的角度分别理顺思路，发现其中的不同和关键点，就能初步明白GBDT的算法原理。接下来从回归和分类的角度分别记录下：1、回归的角度——初步：GBDT的思想可以用一个通俗的例子解释，假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁...