Chaser_lim1024

特征工程1. 特征缩放from sklearn.preprocessing import StandardScaler # 标准化from sklearn.preprocession import MinMaxScaler # 正则化from sklearn.preprocession import PolynomialFeatures # 用于多项式回归2. 特征选择随机森林计算特征的重要性from sklearn.ensemble import RandomForestClas

聚类评估指标——轮廓系数s(i)=b(i)−a(i)max(a(i),b(i))s(i) = \frac{b(i)-a(i)}{max(a(i),b(i))}s(i)=max(a(i),b(i))b(i)−a(i)​计算样本i到同簇其他样本的平均距离ai。ai 越小，说明样本i越应该被聚类到该簇。将ai 称为样本i的簇内不相似度。计算样本i到其他某簇Cj 的所有样本的平均距离bij，称为样本i与簇Cj 的不相似度。定义为样本i的簇间不相似度：bi =min{bi1, bi2, …, bik}

1.Knn原理: 计算待聚类样本到每个已分类样本的距离，通过降序排序，取前K个投票决定属于哪一类。优点：精度高、对异常值不敏感、不用假设缺点：时间复杂度高、空间复杂度高适用数据范围：数值型和标称型计算距离的两种方式：p=1 曼哈顿距离，p=2 欧式距离导包from sklearn.neighbors import KNeighborsClassifierknn = KNeighborsClassifier()knn.fit()knn.predict()knn.score()K

1 . 解释方差分(explained_variance_score)explained_variance_score：解释方差分，这个指标用来衡量我们模型对数据集波动的解释程度，如果取值为1时，模型就完美，越小效果就越差.explained_variance(y,y^)=1−Var{y−y^}Var{y}explained\_variance(y,\hat{y}) = 1 - \frac{Var\{y - \hat{y}\}}{Var\{y\}}explained_variance(y,y^​)=1−

手动实现算法的三个步骤1.定义预测函数.sigmoidg(z)=11+e−zg(z) = \frac{1}{1+e^{-z}}g(z)=1+e−z1​2.定义损失函数(目标)函数3.使用梯度下降求损失函数最小时的系数import numpy as npimport pandas as pdimport matplotlib.pyplot as pltdef sigmoid(W,B): linear = np.dot(X,W) + B return 1/ (1 + np

手动实现算法的步骤.找到预测函数. y = wx + b /θX找到目标函数(损失函数). 最小二乘法.12m∑i=1m(yi−y^)\frac{1}{2m}\sum_{i=1}^m(y^i - \hat{y})2m1​i=1∑m​(yi−y^​)使用梯度下降找到损失函数取的最小值的时候对应的系数.import numpy as npimport pandas as pdimport matplotlib.pyplot as pltx = np.linspace(0,10,20)

import numpy as npimport pandas as pdimport matplotlib.pyplot as plt# 画出抛物线f = lambda x:(x-2.5)**2 + 5x = np.linspace(-10,15,100)plt.figure(figsize=(8,10))plt.plot(x,[f(i) for i in x],c='r')# 梯度下降不是为了求目标函数的最小值,而是为了求目标函数最小是对应的系数# 对x求导dx = lambda

工作原理是：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。流程k-近邻算法的一般流程(1) 收集数据：可以使用任何方法。(2

回归与度量什么是回归​ 回归用于预测输入变量和输出变量之间的关系，当输入变量发生变化的时候，输出变量也随之发生变化。回归模型是输入到输出的一种映射函数。回归问题等价于函数拟合:选择一条函数曲线使其尽可能拟合当前数据的变化趋势，并能够对未来趋势作出预测函数拟合问题问题描述​ 许多工程问题需根据若干实验数据找到两个变量间函数关系的近似表达式，该表达式称为经验公式。根据少量实现数据找到经验数据的过程称为函数拟合。​ 例: 为了测量刀具的磨损速度，我们做以下实验：持续对刀具做磨损测试，每隔一个小时记录刀

使用每个词作为特征并观察它们是否出现，这样得到的特征数目会有多少呢？针对的是哪一种人类语言呢？当然不止一种语言。据估计，仅在英语中，单词的总数就有500 000①之多。为了能进行英文阅读，估计需要掌握数千单词。朴素贝叶斯的一般过程(1) 收集数据：可以使用任何方法。本章使用RSS源。(2) 准备数据：需要数值型或者布尔型数据。(3) 分析数据：有大量特征时，绘制特征作用不大，此时使用直方图效果更好。(4) 训练算法：计算不同的独立特征的条件概率。(5) 测试算法：计算错误率。(6) 使用算法：

聚类与结构什么是聚类基本概念聚类分析是根据在数据中发现的描述对象及其关系的信息，将数据对象分组。⽬的是，组内的对象相互之间是相似的（相关的），⽽不同组中的对象是不同的（不相关的）。组内相似性越⼤，组间差距越⼤，说明聚类效果越好。聚类算法是⼀种⽆监督学习，训练样本的标记信息是未知的，其⽬标是通过对⽆标记训练样本的学习来揭示数据的内在性质及规律，为进⼀步的数据分析提供基础。欧式距离就是我们常说的距离及欧⼏⾥得距离，在⼆维和三维空间就是两点之间有多远，更⼀般的表示⽅式如下:曼哈顿距离曼哈顿