Lu君的博客

梯度下降法详解 笔记梯度下降法 Gradient descent algorithmθt+1=θt−α•g\theta^{t+1}=\theta^{t}-\alpha • gθt+1=θt−α•gα\alphaα : 学习效率数字 (learning rate) 用来控制梯度下降时，函数下降的速度。α\alphaα越大梯度下降越迅速，α\alphaα越小下降缓慢。If α\alphaα ...

numpy 实现线形回归解析解公式解析解公式：θ=(xTx)−1xTy\theta=(x^{T}x)^{-1}x^{T}yθ=(xTx)−1xTy目标函数：y=w0x0+w1x1y=w_{0}x_{0}+w_{1}x_{1}y=w0​x0​+w1​x1​import numpy as npimport matplotlib.pyplot as plt# 随机x纬度x1，rand是随机...

线性回归公式推导过程 笔记**线性：** y = a*x 一次方的变化**回归：** 回归到平均值最大似然估计(maximum likelihood estimation, MLE)中心极限定理 (central limit theorem)概率密度函数公式推导过程前提：1.随机（服从正态分配）2.独立（认为误差是独立的）线性： y = a*x 一次方的变化回归： 回归到平...

回顾梯度下降流程#1 初始化 θ\thetaθ#2 求 gradient#3 θt+1=θt−α•g\theta^{t+1}=\theta^{t}-\alpha • gθt+1=θt−α•g#4 ggg 收敛其中1、3、4、步都容易求得，第2步中 ggg 不易求得求导g=δδθjJ(θ)=δδθj12(hθ(x)−y)2g=\frac{\delta}{\delta\theta_{j...

回顾梯度下降流程#1 初始化 θ\thetaθ#2 求 gradient#3 θt+1=θt−α•g\theta^{t+1}=\theta^{t}-\alpha • gθt+1=θt−α•g#4 ggg 收敛批量梯度下降 BGD批量：Batch梯度：Gradient下降：Descent“Batch”: Each steep of gradient descent use all ...

回顾梯度下降流程#1 初始化 θ\thetaθ#2 求 gradient#3 θt+1=θt−α•g\theta^{t+1}=\theta^{t}-\alpha • gθt+1=θt−α•g#4 ggg 收敛随机梯度下降 SGD随机：Stochastic梯度：Gradient下降：Descent每一步下降用随机抽取的样本优点：速度快缺点：精度下降for i = 1 to m...

归一化/特征缩放 Feature Scaling为什么要做归一化？如何进行归一化？1.最大值最小值归一化2.方差归一化3.均值归一化4.==标准归一化StandardScaler==归一化的目的：将所有特征缩放到0～1之间，使梯度下降法能更快的收敛。（其中0和1并不是定值，只是一个范围。）为什么要做归一化？各个特征xix_{i}xi​的θi\theta_{i}θi​能同步收敛，使梯度下降...

逻辑回归 Logistic regression什么是逻辑回归？什么是信息熵？损失函数？交叉熵？Sigmoid 函数用逻辑回归做二元分类和多元分类的联系什么是逻辑回归？逻辑回归是一种广义线性回归，本质上与多元线性回归相差无几。相当于将回归的结果带入sigmoid函数进行缩放，使得最终结果为二分类。什么是信息熵？1948年，香农提出了“信息熵”的概念，是指信息的量化度量。即信源的概率越大，该...