Dream_Han的博客

**第五章 Logistic回归（机器学习实战）**Logistic回归的一般过程： (1) 收集数据：采用任意方法收集数据。 (2) 准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据 格式则最佳。 (3) 分析数据：采用任意方法对数据进行分析。

1.kNN算法的原理与基本实现k近邻法(k-nearest neighor, k-NN)，是一种基本的分类和回归方法。这里只讨论分类问题中的k近邻。 k近邻法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。 k近邻法假设给定一个训练数据集，其中的实例类别已定，分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决的方式进行预测。 因此k近邻法不具有显式的学

本文记录的是《机器学习实战》和《统计学习方法》中决策树的原理和实现。1、决策树定义：分类决策树模型是一种描述对实例进行分类的树形结构。决策树由节点（node）和有向边（directed edge）组成。节点有两种类型：内部结点和叶结点，内部结点表示一个特征或者属性，叶结点表示一个类。 用决策树进行分类，从根结点开始，对实例的某一特征进行测试，根据测试结构，将实例分配到其子结点；这时，每一个子结点对

机器学习范数规则化之L0,L1与L2范数本文参考http://blog.youkuaiyun.com/zouxy09/article/details/24971995大神的博客，看完之后很受启发，做下记录以便以后复习。L0、L1范数L2范数规则项参数选择前言监督机器学习问题无非就是“minimizeyour error while regularizing your param...