weixin_36128607的博客

1.为什么数据要服从正态分布在深度学习和机器学习中，我们通常希望数据的分布为正态分布，因为在机器学习中，许多模型都是基于数据服从正态分布的假设（例如线性回归，它假设模型的残差服从均值为0方差为σ^2，标准化残差服从均数为0，方差为1 的正态分布）。因此，具有正态分布的数据会对模型的训练效果有着较为显著的提升。2.BoxCox变换对于不符合正态分布的特征，除了对数变换等，最常用的就是BoxCox变换。BoxCox变换是一个变换族。...

风控评分卡模型一.评分卡模型选择一.评分卡模型选择评分卡模型一般会选择线性模型，逻辑回归是一种广义线性模型，评分卡中使用的就是逻辑回归，为什么要用逻辑回归模型？银行决定是否给个人或企业贷款的关键因素是对未来违约概率的预测，而逻辑回归能将特征信息投射到一个概率区间，...

目录1.网络结构(1)记忆体hth^{t}ht(2)候选状态ht^\widehat{h^{t}}ht(3)重置门和更新门1.网络结构U是LSTM的一种变体，可以说是简化版本的LSTM，但是预测效果也很不错，因此更常用。GRU使记忆体hth^{t}ht融合了长期记忆和短期记忆。(1)记忆体hth^{t}htht=zt⊙ht−1+(1−zt)⊙ht^h^{t}=z^{t}\odot h^{t-1}+(1-z^{t})\odot \widehat{h^{t}}ht=zt⊙ht−1+(1−zt)⊙ht

目录1.概述2.LSTM结构(1)短期记忆(2)长期记忆(细胞态)(3)输入门、遗忘门、输出门1.概述传统循环网络RNN可以通过记忆体实现短期记忆进行连续数据的预测。但是，当连续数据的序列变长时，会使展开时间步过长，在反向传播更新参数的过程中，梯度要按时间步连续相乘，会导致梯度消失或者梯度爆炸。LSTM是RNN的变体，通过门结构，有效的解决了梯度爆炸或者梯度消失问题。LSTM在RNN的基础上引入了三个门结构和记录长期记忆的细胞态以及归纳出新知识的候选态。2.LSTM结构(1)短期记忆短期记忆

目录1.网络结构1.网络结构全连接网络和卷积网络都属于前向反馈网络，模型的输出和模型本身没有关联。而循环神经网络的输出和模型间有反馈。t时刻网络结构：

目录1.梯度爆炸与梯度消失1.梯度爆炸与梯度消失

目录1.卷积(1)二维卷积1.卷积(1)二维卷积在信号处理中，二维卷积定义为下：

目录1.动量法1.动量法动量是物理学中的概念，一般指物体在它运动方向上保持运动的趋势，是该物体质量和速度的乘积。在深度学习中，动量法是用之前积累动量来代替真正的梯度，这样，每个参数实际更新差值取决于最近一段时间内梯度的加权平均值。当某个参数在最近一段时间内的梯度方向不一致时，参数更新幅度变小；梯度方向一致时，更新幅度变大，起到加速作用。一般而言，在迭代初期，梯度方向比较一致，动量法会起到加速作用；在迭代后期，梯度方向会不一致，在收敛值附近震荡，动量法起减速作用，增加稳定性。动量法的一般形式：(

目录1.Sigmod函数(1)公式(2)TF2调用sigmod2.Tanh函数(1)公式(2)TF2调用Tanh3.Relu函数(1)公式(2)TF2调用Relu1.Sigmod函数(1)公式f(x)=11+e−xf(x)=\frac{1}{1+e^{-x}}f(x)=1+e−x1​可以将数据映射到(0,1)(0,1)(0,1)区间。缺点：a.易造成梯度消失。b.输出非0均值，收敛慢。c.幂运算复杂，训练时间长。(2)TF2调用sigmodimport tensorflow as t

目录1.学习率衰减(1)简介(2)常用公式(3)指数衰减学习率的实现2.待总结1.学习率衰减(1)简介从经验上看，学习率在一开始要保持大些来保证收敛速度，在收敛到最优点附近时要小些以避免来回震荡。比较简单的学习率调整可以通过学习率衰减来实现。(2)常用公式假设初始学习率为α0\alpha _{0}α0​，第ttt轮的学习率为αt\alpha _{t}αt​，常见的学习率衰减函数有一下几种：a.逆时衰减αt=α011+βt\alpha _{t}=\alpha _{0}\frac{1}{1+\

目录1.网络结构解析(1)图示(2)结构解析2.前向传播(1)前向传播原理(2)前向传播流程3.反向传播(1)反向传播原理1.网络结构解析(1)图示(2)结构解析图中结构一共有四层，最左边为输入层，中间两层为隐藏层，最右边为输出层。通常在说神经网络层数结构的时候不包含输入层，所以输入层也被称为第000层。上图为三层神经网络，图中的各参数代表的意义如下：aila_{i}^{l}ail​：第lll层第iii个神经元的输出。zilz_{i}^{l}zil​：第lll层第iii个神经元的未激活输出。

目录1.XGBoost与GBDT的不同点2.XGBoost损失函数推导与优化1.XGBoost与GBDT的不同点(1)GBDT只支持CART决策树，XGBoost支持其他学习器。(2)XGBoost的损失函数相当于GBDT加正则化项。(3)GBDT只对误差部分的负梯度(一阶泰勒展开)拟合，二XGBoost对误差部分进行二阶泰勒展开，拟合更准确。(4)缺失值的处理不同。2.XGBoost损失函数推导与优化GBDT的损失函数为：Lt=∑i=1mL(yi,ft−1(xi)+ht(xi))L_{t

目录1.简介2.负梯度拟合1.简介GBDT也是前向分布算法，但是它的学习器只能用CART回归树。在提升树的系列算法中，前一轮迭代得到的强学习器是ft−1(x)f_{t-1}(x)ft−1​(x)，损失函数是L(y,ft−1(x))L(y,f_{t-1}(x))L(y,ft−1​(x))，则本轮的目标是寻找到一个弱学习器ht(x)h_{t}(x)ht​(x)，使本轮的损失L(y,ft−1(x)+ht(x))L(y,f_{t-1}(x)+h_{t}(x))L(y,ft−1​(x)+ht​(x))最小。在

目录1.简介2.二分类样本权重和弱学习器系数推导1.简介Adaboost为加法模型，学习算法为前向分步学习算法。作为经典的boosting算法，Adaboost通过计算前一个基学习器的误差率，更新后一个基学习器的系数和样本集的权重系数，最后再通过结合策略进行预测。理论上任何学习器都可以用于Adaboost。但一般来说，使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树，Adaboost分类用了CART分类树，而Adaboost回归用了CART回归树。2.二分类样本权重和弱学习器系数

目录1.集成学习(1)概述(2)个体学习器(3)boosting(4)bagging(5)结合策略2.随机森林(1)简介(2)算法流程3.sklearn实现RF(1)默认参数的RF(2)网格搜索确定弱学习器个数(3)网格搜索确定最大深度1.集成学习(1)概述集成学习的思想是众人拾柴火焰高。训练若干个个体学习期，通过一个集合策略，最终形成一个强学习器。因此，集成学习主要有两个问题需要解决：一是如何得到若干个个体学习器；二是如何选择结合策略。(2)个体学习器个体学习器的组成分为同质和异质。同质指所有个

目录1.简介2.基尼系数3.CART分类树(1)数据集的基尼系数(2)数据集对于某个特征的基尼系数(3)连续值特征处理(4)离散值特征处理1.简介CART算法采用的是基尼系数作为划分依据。ID3、C4.5算法生成的决策树都是多叉树，而CART算法生成的决策树为二叉树。2.基尼系数基尼系数代表了信息的不纯度，基尼系数越小，不纯度越低，特征越好。在分类问题中，假设有KKK个类别，第kkk个类别的概率为PkP_{k}Pk​，则基尼系数为：Gini(P)=∑k=1KPk(1−Pk)=1−∑k=1KPk

目录1.概述(1).划分依据(2)分配准则2.ID3算法(1)信息增益(2)ID3算法的流程(3)ID3算法的不足3.C4.5算法(1)处理连续值(2)信息增益比(3)缺失值的处理(4)正则化剪枝(5)C4.5的不足1.概述决策树算法主要有两个关键点：(1).划分依据当前节点应该用样本的哪个特征进行分裂。(2)分配准则子节点中应该包含哪些样本。2.ID3算法(1)信息增益信息增益又叫互信息，它衡量了已知一个变量的情况下，另一个变量不确定性减少的程度：I(X,Y)=−∑X,YP(X,Y)l

目录1.Jesen不等式2.最大似然估计3.EM算法简介1.Jesen不等式如果f(x)f(x)f(x)是凸函数，xxx是随机变量，则：E(f(x))⩾f(E(x))E(f(x))\geqslant f(E(x))E(f(x))⩾f(E(x))特别的，当f(x)f(x)f(x)为严格凸函数，xxx为常量时，等号成立。2.最大似然估计通常在求概率分布时，已知条件(参数θ\thetaθ)推算结果。最大似然估计是已知结果，估计使这个结果成立的可能性最大的条件(参数θ\thetaθ)。最大似然估

目录1.最大熵原理2.特征函数3.最大熵模型推导1.最大熵原理最大熵原理是指在对随机变量的概率分布进行预测时，对未知概率不做任何假设。也就是说，预测概率分布为均匀分布时，熵最大，预测风险最小。2.特征函数数据集有mmm个样本，每个样本有nnn个特征和一个标签yyy：(x11,x21,x31,...,xn1,y1),(x12,x22,x32,...,xn2,y2),...,(x1m,x2m,x3m,...,xnm,ym)(x_{1}^{1},x_{2}^{1},x_{3}^{1},...,x_{n

目录1.支持向量机和感知机2.线性可分SVM之硬间隔最大化(1)函数间隔和几何间隔1.支持向量机和感知机感知机：通过误分类点距离之和最小，寻找一个分类超平面，将不同类别的数据分隔在超平面两侧，这样的超平面有无数个。支持向量机：最大化几何间隔寻找分类超平面，这样的超平面只有一个。2.线性可分SVM之硬间隔最大化(1)函数间隔和几何间隔定义样本点(xi,yi)(\mathbf{x}^{i},y^{i})(xi,yi)关于超平面(w,b)(\mathbf{w},b)(w,b)的函数间隔为：...

目录1.判别模型和生成模型2.贝叶斯公式3.朴素贝叶斯模型(1)先验概率(2)条件概率(3)联合概率分布(4)后验概率4.目标函数推导5.算法流程(1)先验概率(2)条件概率1.判别模型和生成模型判别模型：判别模型直接学习自变量xxx和因变量yyy之间的关系，这种关系可能是函数y=f(x)y=f(x)y=f(x)，也可能是条件概率P(y∣x)P(y|x)P(y∣x)。生成模型：生成模型需要先求出自变量和因变量的联合概率分布P(x,y)P(x,y)P(x,y)，再通过联合概率分布求出条件概率P(y∣x)

目录1.LDA的数学原理(1)类间散度矩阵(2)类内散度矩阵(3)协方差矩阵2.LDA算法流程3.LDA与PCA的区别4.sklearn实现LDA(1)生成数据(2)PCA(3)LDA1.LDA的数学原理LDA是一种有监督的降维技术，它的每个样本输出都是有类别的。LDA的思想是投影后类间方差尽可能大，类内方差尽可能小。(1)类间散度矩阵类间散度矩阵为：Sb=∑i=1C(μi−μ)(μi−μ)T\boldsymbol{S}_{b}=\sum_{i=1}^{C}(\mu _{i}-\mu)(\mu

目录1.PCA原理1.PCA原理PCA的目的是找出数据中最主要的方面，用数据最主要的方面来代替原始数据。于PCA的原理有两种解释，一种为最小投影距离，另一种为最大投影方差。这里从最大投影方差来推理PCA：(1)mmm个nnn维样本，将数据中心化后满足：∑i=1mxi=0\sum _{i=1}^{m}x^{i}=0i=1∑m​xi=0(2)...

目录1.谱分解(1)特征值和特征向量(2)特征值分解(3)numpy实现特征值分解2.奇异值分解(SVD)(1)简介(2)SVD和PCA(3)numpy实现SVD1.谱分解谱分解又称为特征值分解，只有方阵才能进行谱分解。(1)特征值和特征向量方阵A\mathbf{A}A，如果存在非零向量x\mathbf{x}x和实数λ\lambdaλ，满足：Ax=λx\mathbf{Ax}=\lambda \textbf{x}Ax=λx则称λ\lambdaλ为A\mathbf{A}A的特征值，x\mathb

目录1.基本概念2.算法流程3.sklearn实现DBSCAN(1)数据集1.基本概念DBSCAN:具有噪声的基于密度的聚类方法。从名字中就可以看出来，簇划分是根据样本密度来决定的。ϵϵϵ-邻域：样本xxx以ϵϵϵ为半径的范围内包含的所有样本的集合，这个集合称为xxx的ϵϵϵ-邻域。核心对象：样本xxx的ϵ-领域内样本数大于阈值MinPts，则xxx为核心对象。直接密度可达：若某点ppp在点qqq的ϵϵϵ-邻域内，且qqq是核心对象，则ppp由qqq直接密度可达。密度可达：有序列点q1,q2,q

目录1.聚类2.k-means聚类3.算法流程4.K-means++算法5.Mini Batch K-means6.评估指标7.sklearn实现K-means(1)数据集(2)2簇k-means(3)4簇k-means(4)MiniBatchKMeans1.聚类聚类是一种无监督的算法。当样本没有标签只有特征时，可以用聚类进行分类。2.k-means聚类k-means聚类的基本思想是最小化平方误差，可以理解为让同一个簇内的点尽量靠近。假设样本可分为kkk个簇，分别是(C1,C2,C3,...,Ck

目录1.概述2.算法流程(1)计算距离(2)选择最近邻点(3)预测3.KNN优化之KD树(1)KD树之建树(2)KD树之搜索4.sklearn实现KNN(1)数据预处理(2)预测和评价(3)网格搜索1.概述KNN的原理非常简单明了，根据离样本最近的kkk个点的标签来决定样本的类别或值。既可以用来分类，也可以进行回归。分类：多数表决。在数据集中，找出与样本特征最近的kkk个数据点，这些数据点中占比最多的类别即为要预测的样本的类别。回归：取平均值。在数据集中，找出与样本特征最近的kkk个数据点，取它们的

目录1.感知机模型2.损失函数3.参数优化4.感知机的对偶形式5.感知机算法流程(对偶形式)6.sklearn实现感知机(1)生成数据集(2)数据预处理(3)训练和评价1.感知机模型感知机是一个分类模型，它的分类策略是寻找一个分类超平面，将不同类别的样本分离在超平面两侧。同时，将误分类点到直线的距离之和作为损失函数，误分类距离之和越小，效果越好。需要注意的是，这样的超平面可能有无数个。mmm个样本，每个样本有nnn维特征和一个标签yyy：(x11,x21,x31,...,xn1,y1),(x22,x

目录1.softmax函数1.softmax函数

目录1.回归和分类2.Logistic函数3.Logistic回归模型4.损失函数(1)交叉熵(2)极大似然估计1.回归和分类回归的预测值yyy为连续值，分类的预测值yyy为离散值。Logistic回归的名字中虽然有回归二字，但其实是二分类算法。2.Logistic函数Logistic函数为两端饱和S型曲线函数，它将自变量的输出值固定在[0,1][0,1][0,1]区间上。Logistic函数原型为：g(z)=11+e−zg(z)=\frac{1}{1+e^{-z} } g(z)=1+e−

目录1.过拟合2.正则化(1)L1正则(2)L2正则3.sklearn实现Ridge回归1.过拟合当模型过于复杂时，将一些离群点或者说噪声也完全拟合，造成模型在训练集上表现优异，在测试集或者说泛化时表现较差，这种现象称之为过拟合。2.正则化将经验风险最小化函数改为结构风险最小化函数，或者说将损失函数加上正则化项，可以使模型变简单，从而避免过拟合。以线性回归为例，常用的正则化有L1L1L1正则和L2L2L2正则。(1)L1正则线性回归的损失函数加上L1L1L1正则化项以后为：J(θ)=12(X

目录1.概述2.不同的交叉验证3.sklearn+线性回归+交叉验证(1)准备数据(2)建模和预测(3)结果评价1.概述当数据样本量较少的时候，会重复的切割数据集，将数据集分为多组训练集和测试集，训练多个模型，选择效果最好的模型。2.不同的交叉验证(1)简单交叉验证：随机的将样本数据分为两部分，用训练集来训练模型，在测试集上验证模型及参数。再把样本打乱，重新选择训练集和测试集，继续训练数据和检验模型。最后选择评估最优的模型和参数。(2)S折交叉验证：样本数据随机的分成S份，每次随机的选择S-1份作

七.线性回归原理1.线性回归模型1.线性回归模型mmm个样本，每个样本有nnn维特征和一个标签yyy,可以用数学表示如下：(x11,x21,x31,...,xn2,y2),(x12,x22,x32,...,xn2,y2),...,(x1m,x2m,x3m,...,xnm,ym)(x_{1}^{1},x_{2}^{1},x_{3}^{1},...,x_{n}^{2}, y^{2} ),(x_{1}^{2},x_{2}^{2},x_{3}^{2},...,x_{n}^{2}, y^{2} ),...,(

六.机器学习的评价指标1.基础概念在评价模型的预测结果时，除了常用的准确率，还有精确率、召回率等。选择不同的评价指标，会极大的影响模型的性能。1.基础概念真正例(TP，True Positives):预测为正的正样本。FP(False Positives):预测为正的负样本。TN(True Negatives):预测为负的负样本。FN(False Negatives):预测为负的正样本。...

五.矩阵向量求导1.定义法求导(1)标量对向量求导1.定义法求导(1)标量对向量求导标量对向量求导，本质上是实值函数对向量的每个分量求导,下面用实例来说明。例1：y=aTx,a∈Rn×1,x∈Rn×1,y∈R,求∂aTx∂xy=\mathbf{a^{T}x}, \mathbf{a} \in R^{n\times 1} ,\mathbf{x} \in R^{n\times 1},y\in R,求\frac{\partial \mathbf{a^{T}x}}{\partial \mathbf{x}}y=

四.信息论基础知识1.自信息2.熵1.自信息对一个随机变量XXX进行编码，概率分布为P(x)P(x)P(x)，自信息I(x)I(x)I(x)表示了X=xX=xX=x时的信息量：I(x)=−logP(x)I(x)=-logP(x)I(x)=−logP(x)2.熵熵衡量了随机变量的平均信息量，即自信息的数学期望：H(X)=Ex(I(X))=−H(X)=E_{x}(I(X))=-H(X)=Ex​(I(X))=−...

三.约束最优化之拉格朗日对偶性1.概述2.原始问题1.概述在无约束最优化问题中，常用梯度下降法、牛顿法和拟牛顿法等求解最值。在约束最优化问题中，常用拉格朗日对偶性，将原始问题转化为对偶问题，通过求解对偶问题进而得到原始问题的解。2.原始问题有约束条件的最优化问题一般用数学表示如下：...

二.无约束最优化之牛顿法1.牛顿法原理解析1.牛顿法原理解析牛顿法的核心思想，是函数极值点处的一阶导数为000。在k+1k+1k+1次迭代中，极值存在的必要条件是xk+1x^{k+1}xk+1处的导数为0，即：∇f(xk+1)=0\nabla f(x^{k+1})=0∇f(xk+1)=0将f(xk+1)f(x^{k+1})f(xk+1)在xkx^{k}xk处进行二阶泰勒展开：...

一.无约束最优化之梯度下降1.梯度2.泰勒展开式3.梯度下降法原理解析4.梯度下降法的一般流程5.梯度下降法调优6.常用几种梯度下降法简介7.梯度下降法与最小二乘法1.梯度梯度是函数在某点的所有偏导数组成的向量，是函数在该点变化最快的方向。2.泰勒展开式泰勒展开式的本质，是针对非多项式，用多项式在某点逼近非多项式的每一阶。当阶数无穷大时，可以认为多项式等于非多项式。非多项式f(x)f(x)f(x)在点x0x_{0}x0​处的nnn阶泰勒展开式为：f(x)=f′(x0)+f′(x0)1!(x−x0