qq_51667621的博客

目录一、基于Logistic回归和Sigmoid函数的分类1.1 Logistic回归的一般过程1.2 Sigmoid函数二、基于优化方法的最佳回归系数确定2.1 梯度上升算法2.2 梯度下降算法2.3 使用梯度上升找到最佳参数2.4 分析数据画出决策边界三、训练算法：随机梯度上升算法3.1 随机梯度上升算法3.2 随机梯度上升算法改进四、从疝气病症预测病马的死亡率4.1 准备数据：处理数据中的缺失值4.2 测试算法：用Logistic回归进行分类4.3 小结一、基于Logistic回归和Sigmoid函

一、决策树的构造1.决策树优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点：可能会产生过度匹配问题。适用数据类型：数值型和标称型。2.决策树的一般流程（1）收集数据：可以使用任何方法。（2）准备数据：树构造算法只适用于标称型数据，因此数值型数据必须来离散化。（3）分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期。（4）训练算法：构造树的数据结构。（5）测试算法：使用经验树计算错误率。（6）使用算法：此步骤可以适用于任何监

一、准备：使用Python导入数据1.首先，创建名为KN.py的Python模块，在文件中编写一些基本的通用函数，导入两个模块：一个是科学计算包Numpy，一个是运算符模块。代码如下：from numpy import *import operatorfrom os import listdirdef createDataSet(): group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels = ['A','A','B',

一、准备数据：将图像转换为测试向量1.目录trainingDigits中包含大约2000个例子，每个例子如下图所示，，每个数字大约有200个样本；目录testDigits中包含了大约900个测试数据。使用目录trainingDigits中的数据训练分类器，使用目录testDigits中的数据测试分类器的效果；2.为了使用之前例子的分类器，必须将图像格式化处理为一个向量。我们将把一个32x32的二进制图像矩阵转换为1x1024的向量，这样之前的分类器就可以处理数字图像信息了。首先编写函数img2vec

一、基于最大间隔分隔数据1.支持向量机(Support Vector Machines,SVM)最流行的实现是序列最小优化(SequentialMinimal Optimization，SMO)算法。支持向量机优点：泛化错误率低，计算开销不大，结果易解释。缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。适用数据类型：数值型和标称型数据。2.概念解释考虑图1中6.1A-D4个方框中的数据点分布，问题是能否画出一条直线将圆形点和方形点分开？先考虑A中的两组数据，它们之间

目录一、基于贝叶斯决策理论的分类方法1.1 朴素贝叶斯1.2 贝叶斯决策理论二、条件概率三、使用条件概率来分类一、基于贝叶斯决策理论的分类方法1.1 朴素贝叶斯优点：在数据较少的情况下仍然有效，可以处理多类别问题。缺点：对于输入数据的准备方式较为敏感。适用数据类型：标称型数据。之所以称为朴素，是因为整个形式化过程只做最原始、最简单的假设。1.2 贝叶斯决策理论假设有一个数据集由两类数据组成，数据分布如图：(两个参数已知的概率分布，参数决定了分布的形状)假设有位读者找到了描述了图中两类数

一、下载Anaconda下载地址：https://www.anaconda.com二、安装Anaconda1.进入官网后，看不懂英文可以先将网页翻译成中文。然后点击产品—>个人版。如图进入下载页面;2.可以直接点击下载，也可以滚动到页面最底部根据自己的需求下载anaconda。这里我下载的是477MB的64位的版本;3.下载成功后，打开Anaconda所在的位置，双击Anaconda;4.进入anaconda欢迎界面，点击next;5.点击I Agree;6.点击Next

一、准备数据：从文本文件中解析数据1.将特征数据输入到分类器之前，必须将待处理数据的格式改变为分类器可以接受的格式。在kNN.py 中创建名为file2matrix的函数，以此来处理输入格式的问题。该函数的输入为文件名字符串，输出为训练样本矩阵和类标签向量。将下面代码加到kNN.py中（将文本记录到转换Numpy的解析程序）；def file2matrix(filename): fr = open(filename) numberOfLines = len(fr.readlines())