mianmami的博客

Bagging 通过少量的数据集，得到了多组分布不同的数据集。 然后每一个数据集对可以采用不同的算法进行预测。在“组合投票”里，有k个不同的模型，当有新的数据输入进来时，则可以产生k个不同的预测结果，再进行“以少数服从多数”来进行投票判断。 鸢尾花数据集分类 from sklearn.datasets import load_iris import matplotlib.pyplot as plt from sklearn.linear_model import LogisticRegression

算法主要思想 已知多个样本的分类情况（假设如下图所示）。其中有两个分类，可以简记为红类/蓝类。而黑点则是带判断的目标点。 K代表与目标点（黑点）距离最近的K个点。 计算黑点与K个点之间的距离（这里可以采用欧式距离） 按照少数服从多数的规则，确定目标点的类别。例如，距离黑点最近的5个点当中，红点占3个，蓝点占2个，则该黑点属于红类。 该算法的思路较为简单粗暴。缺点如下所示： python实现 ··· SKlearn对鸢尾花数据集进行分类 ...

注意：上面的损失函数用的是平方差损失函数。 以下是代码实现部分： import numpy as np import matplotlib.pyplot as plt x = np.array([[1, 3, 3], [1, 4, 3], [1, 1, 1], [1, 0, 2]]) y = np.array([[1],[1], [-1], [-1]]) w = (np.random.random((3,1))-0...

举例：

逻辑回归 对于线性回归问题来讲：损失函数不一定是凸函数，因此可能找不到极小值点。那么在逻辑回归里，需要定义一种能反映真实值和预测值之间关系，同时又是凸函数的代价函数。 线性回归的代价函数 逻辑回归的代价函数： 综合起来可以写如下的函数： 注：这个公式也就是交叉熵公式 ...

数据归一化：将数据的取值范围取到0~1之间，或者-1 ~ 1之间。 0-1之间：(x−xmin)/(xmax−xmin)(x - x_{min})/(x_{max}-x_{min})(x−xmin​)/(xmax​−xmin​) -1 - 1之间： ((x−xmin)/(xmax−xmin)−0.5)∗2((x - x_{min})/(x_{max}-x_{min})-0.5)*2((x−xmin​)/(xmax​−xmin​)−0.5)∗2 均值标准化：x为特征数据， u为数据的平均值, s为数据的方差,

回归分析用来建立方程模拟自变量和应变量之间的关系。 一元线性回归包含一个自变量和一个应变量 如果包含两个以上的自变量，则称为多元回归分析。