zz0377的博客

2. 决策树2.1 工作原理决策树(decision tree)是一种基本的分类与回归方法。举个通俗易懂的例子，如下图所示的流程图就是一个决策树，长方形代表判断模块(decision block)，椭圆形成代表终止模块(terminating block)，表示已经得出结论，可以终止运行。从判断模块引出的左右箭头称作为分支(branch)，它可以达到另一个判断模块或者终止模块。2.2 决策树的一般流程2.2.1 知识补充信息熵集合信息的度量方式称为香农熵或者简称为熵(entropy)

Logistic回归1.工作原理2. Logistic回归的优缺点3. Logistic回归的一般流程

特征提取、特征选择、特征降维的区别特征选择与特征降维的差别1.特征提取和特征选择特征提取/特征抽取（feature extraction）：Creatting a subset of new features by combinations of the existing features.即通过原来存在的特征的集合创造一个新的特征子集。这里的创造就是重点，即经过特征提取以后的新特征是原来特征的一个映射，创造凝练出了新的特征出来，比如图片是由像素点组成的，但是经过特征提取，变成了数值矩阵，这就是变

内容来自大神博主，和吴老师的视频1. 梯度上升 --> 求极大值公式："""函数说明:梯度上升算法测试函数 求函数f(x) = -x^2 + 4x的极大值"""def Gradient_Ascent_test(): def f_prime(x_old): #f(x)的导数 return -2 * x_old + 4 x_old = -1

1. kNN概述2. kNN代码实现2.12.2 算法实战——海伦约会收集数据准备数据（数据解析、数据归一化）分析数据（）测试算法使用算法2.2.1 收集数据集2.2.2 准备数据：数据解析import numpy as npdef file2matrix(filename): fr = open(filename) arrayOLines = fr.readlines() numberOfLines = len(arrayOLines) retu