whbsxx1314的专栏

1-信息熵一条信息的信息量和它的不确定性有着直接的关系。俺么如何量化信息的度量呢？香农用“比特（bit）”这个概念来度量信息量。香农提出，它的准确信息量应该是：因此，对于任意一个随机变量X，它的熵定义如下：![信息熵定义](http://img.blog.youkuaiyun.com/201608221713

k-近邻法概述工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前&个最相似的数据，这就是k-近邻算法中k的出处,通常k是不大于20的整数。最后，选择k个最相

何谓机器学习简单地说，机器学习就是把无序的数据转换成有用的信息。机器学习横跨计算机科学、工程技术和统计学等多个学科，需要多学科的专业知识。机器学习的主要任务就是分类。有很多机器学习算法非常善于分类。最终我们决定使用某个机器学习算法进行分类时，首先需要做的是算法训练，即学习如何分类。通常我们为算法输人大量已分类数据作为算法的训练集。训练集是用于训练机器学习算法的数据样本集合，目 标 变 量 是 机 器

基础回顾我们称之为“朴素”，是因为整个形式化过程只做最原始、最简单的假设。贝叶斯准则： 贝叶斯准则告诉我们如何交换条件概率中的条件与结果，即如果已知p(x|c),要求p(c|x)，那么可以使用下面的计算方法： p(c|x) = p(x|c)p(c)/p(x)。根据上述公式计算出两个概率p1(x,y)和p2(x,y)。 如果p1(x,y) > p2 (x, y ) , 那么属于类别1； 如果p

现在有一些数据点，我们用一条直线对这些点进行拟合，这个拟合过程就称作回归。Sigmoid函数具体的计算公司如下： y(z) = 1/(1+e(-z))Sigmoid函数的输入z由下面公式得出： z = W0X0 + W1X1 + W2X2 + … +WnXnLogistic回归的目的是寻找一个非线性函数Sigmod的最佳拟合参数！！求解过程可以由最优化算法来完成。梯度上升法基于的思想史：要找到某