zy_小轩的博客

回归分析：用来建立方程模拟两个或者多个变量之间如何关联 因变量：被预测的变量（结果/标签），输出 自变量：被用来进行预测的变量（特征），输入 一元线性回归：包含一个自变量与一个因变量，并且变量的关系用一条直线来模拟 一元线性回归 公式： 这个方程对应的图像是一条直线，称作回归线。其中，为回归线的斜率，为回归的截距。 相关性： 正相关： 不相关：...

BP（Back Propagation）神经网络BP神经网络（误差方向传播神经网络） ：网络结构如图与单层感知器相比，在输入层与输出层之间多了隐藏层，上图的网络结构为3层，输入层不算网络的层数。Delta学习规则：Delta学习规则是一种利用梯度下降法的一般性的学习规则。其中W,X为矩阵 函数f()为激活函数，y=f(WX)。BP算法：示例：激活...

PCA算法讲解用途：例如将图中的二维坐标转换为一维坐标z。代码：import numpy as npimport matplotlib.pyplot as plt#载入数据data = np.genfromtxt("data.csv",delimiter=",")x_data = data[:,0]...

KNN（最近邻规则分类）算法介绍图中黑色与蓝色的点为已知的分类类别，红色的点为待分类的点。当K=1时 计算红色的点与其他所有的点距离，并找到1个与红色点最近的已知点，并将红色的点归为那一类。当K=5时计算红色的点与其他所有的点距离，并找到5个与红色点最近的已知点，并根据少数服从多数的原则将红色的点进行归类。（K的取值一般为奇数）...

评估逻辑回归的指标 正确率与召回率 正确率与召回率（Precision & Recall）是广泛应用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。 一般来说，正确率就是检索出来的条目有多少是正确的，召回率就是所有正确的条目有多少被检索出来了。 F1值=2 ∗正确率∗召回率/（正确率+召回率）。是综合上面二个指标的评估指标，用于综合反映整体的指标。这几个指标的取...

逻辑回归 用途： 垃圾邮件的分类 预测肿瘤的良性还是恶性 预测某人的信用是否良好 我们定义逻辑回归的预测函数为：,其中函数是 sigmoid 函数。 为两个矩阵相乘，得到是决策边界。 0.5可以作为分类的边界 当的时候 当的时候 逻辑函数的代价函数：为真实值（标签），为预测值 ...

Lasso回归 通过构造一个一阶惩罚函数获得一个精炼的模型；通过最终确定一些指标（变量）的系数为零（岭回归估计系数等于零0的机会微乎其微，造成筛选变量困难），解释力很强。 擅长处理具有多重共线性的数据，与岭回归一样是有偏估计。 如下图 蓝色部分为限制区域，即取值应该在蓝色区域内或边缘，红色的线为loss的等高线，离黑色的中心点越近loss越小。 由上图可以看出...

岭回归 如果数据的特征比样本点还多，数据特征，样本个数，即，则计算时会出错。因为不是满秩矩阵，行列式为0，所以不可逆。 为了解决这个问题，统计学家引入了岭回归的概念。 岭回归最早是用来处理多于样本的情况，现在也用于在估计中加入偏差，从而得到最好的估计。同样也可以解决多重共线性问题。岭回归是一种有偏估计。 岭回归的代价函数： 线性回归标准方程法： 岭回归的求...

过拟合 在训练集中训练很好，但使用测试集的时候，结果不是很好。 回归中的拟合 分类中的拟合 防止过拟合 1.减少特征 2.增加数据量 3.正则化（regularized） 正则化代价函数： L2正则化： L1正则化：...

特征缩放法 1. 数据归一化：把数据的取值范围处理为 0 —1 或者-1 — 1之间。 任意数据转化为 0 — 1 之间： 数据归一化后： 任意数据转化为 -1 — 1 之间： 2. 均值标准化 x为特征数据，u为数据的平均值，s为数据的方差 标准均值化后： 取值范围一般在 +0.5 —-0.5之间。 交叉验证法（测试的方法） 适用于数据较少...

import numpy as npfrom numpy import genfromtxtimport matplotlib.pyplot as plt # 载入数据data = np.genfromtxt("data.csv", delimiter=",")x_data = data[:,0,np.newaxis]y_data = data[:,1,np.newaxis]...

标准方程法 代价函数： 找到最小值即导数为0的点。 矩阵运算：https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities 分子布局：分母为行向量或者分子为列向量 分母布局：分子为行向量或者分母为列向量 为标量 所以与其转置的结果相同 矩阵不可逆的情况线性...

假如我们不是要找直线或者超平面，而是一个需要找到一个用多项式所表示的曲线或者超平面，例如二次曲线：来拟合样本点的分布。多项式回归可以写成下面的这种形式：基于sklearn的多项式回归：import numpy as npimport matplotlib.pyplot as pltfrom sklearn.preprocessing import PolynomialFeatur...

多元线性回归：含有多个特征及多个自变量（输入） 公式： 参数： 损失函数： 梯度下降： Repeat{ (j=0,1,2,3,4,...,n) }下面是未使用sklearn的代码import numpy as npimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3...

单层感知器 单层感知器举例 感知器学习规则 学习率 取值一般取 学习率太大容易造成权值调整不稳定 学习太小，权值调整太慢，迭代次数太多 模型收敛条件 误差小于某个预先设定的较小的值 两次迭代之间的权值变化已经很小 设定最大迭代次数，当迭代超过最大次数就停止 单层感知器程序 ...

梯度下降法一元线性回归import numpy as npimport matplotlib.pyplot as plt#载入数据data = np.genfromtxt("data.csv",delimiter=",")#加载文件，分隔符为逗号x_data = data[:,0]#存储第0列的所有数据y_data = data[:,1]#存储第1列的所有数据#学习率...

SVM简介：算法推导：如果要使 d 取得最大值，则y(w·x+b)=1。即在y(w·x+b)-1=0的条件下，使得d 取得最大值，可以使用拉格朗日乘子法。拉格朗日乘子法对应于高等数学的多元函数求极值的问题。松弛量与惩罚函数：SVM例子：x代表点SVM解决非线性的情况：...