通俗易懂讲透BFGS优化算法

无约束优化:Hessian-Free Optimization 拟牛顿类算法(BFGS,L-BFGS) 无约束优化之拟牛顿类算法介绍 阅读详情

通俗易懂讲透BFGS优化算法(本科生/研究生都能看懂)

本文用大白话+形象比喻+公式拆解+可运行代码+对比总结,把BFGS从原理、流程、优缺点到适用场景讲得清清楚楚,适合数值优化、机器学习复习、课程笔记与面试。


一、先搞懂:我们为什么需要BFGS?

在机器学习/深度学习里,我们的目标是最小化损失函数,找到最优参数。
常见的优化方法有:

  • 梯度下降(GD):只看一阶导数(坡度),走得慢、震荡多
  • 牛顿法:用二阶导数(曲率/Hessian),收敛极快,但计算Hessian矩阵代价太高,高维场景根本跑不动

于是就有了BFGS:

不用算真实Hessian,只用梯度信息,迭代构造近似Hessian逆,实现超线性收敛

一句话总结:
BFGS = 拟牛顿法的王者,比梯度下降快百倍,比牛顿法省算力。


二、BFGS 是什么?(超形象比喻)

BFGS(Broyden–Fletcher–Goldfarb–Shanno)是最经典的拟牛顿算法。

你可以把优化过程比作下山找谷底:

  • 梯度下降:蒙着眼,只看脚下坡度,一步一步挪,容易绕路、震荡
  • 牛顿法:带着完整地形图(Hessian),一步到位,但地图太重、太贵
  • BFGS:边走边画简易地图,不用提前画全,每走一步就修正地图,又快又省资源

核心逻辑:
用历史位置差和梯度差,迭代更新近似Hessian逆矩阵,不用直接计算二阶导数。


三、BFGS 核心思想(不用公式也能懂)

  1. 初始假设:最开始把地形当成平地,Hessian逆用单位矩阵
  2. 计算方向:结合当前梯度 + 近似Hessian逆,得到更优的下降方向
  3. 线搜索:在这个方向上找最合适的步长
  4. 更新近似矩阵:用新走的位移和梯度变化,修正“简易地图”
  5. 重复迭代:直到梯度接近0(到达谷底)

四、BFGS 公式一步步拆解(详细易懂)

1. 先看牛顿法(对照)

xk+1=xk−[∇2f(xk)]−1∇f(xk)x_{k+1} = x_k - [\nabla^2f(x_k)]^{-1}\nabla f(x_k)xk+1​=xk​−[∇2f(xk​)]−1∇f(xk​)

  • ∇2f\nabla^2f∇2f:Hessian矩阵(二阶导),计算/求逆代价极大
  • 优点:二阶收敛,超快
  • 缺点:高维算不动,可能不正定

2. BFGS 核心变量

  • xkx_kxk​:当前位置
  • gk=∇f(xk)g_k=\nabla f(x_k)gk​=∇f(xk​):当前梯度
  • HkH_kHk​:近似Hessian逆矩阵(BFGS真正维护的东西)
  • sk=xk+1−xks_k = x_{k+1}-x_ksk​=xk+1​−xk​:位置变化
  • yk=gk+1−gky_k = g_{k+1}-g_kyk​=gk+1​−gk​:梯度变化
  • ρk=1/(ykTsk)\rho_k=1/(y_k^Ts_k)ρk​=1/(ykT​sk​):简化系数

3. 搜索方向

pk=−Hkgkp_k = -H_k g_kpk​=−Hk​gk​
这一步融合了梯度和二阶近似,方向比纯梯度更准。


4. BFGS 逆Hessian更新公式(最常用)

Hk+1=(I−ρkskykT)Hk(I−ρkykskT)+ρkskskTH_{k+1} = \left(I-\rho_k s_k y_k^T\right) H_k \left(I-\rho_k y_k s_k^T\right) + \rho_k s_k s_k^THk+1​=(I−ρk​sk​ykT​)Hk​(I−ρk​yk​skT​)+ρk​sk​skT​

✅ 直白解释:

  • 保留上一轮的近似矩阵
  • 用新的位移sss和梯度差yyy修正
  • 保证矩阵对称正定,确保是下降方向

5. 参数更新

xk+1=xk+αkpkx_{k+1} = x_k + \alpha_k p_kxk+1​=xk​+αk​pk​
αk\alpha_kαk​由线搜索(Armijo/Wolfe条件)得到。


五、BFGS 完整算法流程(7步背会)

  1. 初始化:x0x_0x0​,H0=IH_0=IH0​=I(单位矩阵),阈值ϵ\epsilonϵ
  2. 计算梯度gkg_kgk​,若∥gk∥<ϵ\|g_k\|<\epsilon∥gk​∥<ϵ,停止
  3. 计算搜索方向pk=−Hkgkp_k=-H_k g_kpk​=−Hk​gk​
  4. 线搜索求最优步长αk\alpha_kαk​
  5. 计算sks_ksk​、yky_kyk​、ρk\rho_kρk​
  6. 用BFGS公式更新Hk+1H_{k+1}Hk+1​
  7. 更新xk+1x_{k+1}xk+1​,回到步骤2

六、代码实战:BFGS 优化 Rosenbrock 函数

直接复制可运行,包含BFGS实现 + 梯度下降对比 + 可视化。

import numpy as np
import matplotlib.pyplot as plt
import time
from mpl_toolkits.mplot3d import Axes3D

# ===================== 1. 定义测试函数:Rosenbrock(香蕉函数)=====================
def rosenbrock(x):
    return 100 * (x[1] - x[0]**2)**2 + (1 - x[0])**2

def grad_rosenbrock(x):
    dx = -400 * x[0] * (x[1] - x[0]**2) - 2 * (1 - x[0])
    dy = 200 * (x[1] - x[0]**2)
    return np.array([dx, dy])

# ===================== 2. 线搜索(Armijo 条件)=====================
def line_search(f, grad, x, p, alpha=1.0, rho=0.8, c=1e-4):
    fx = f(x)
    gx = grad(x)
    while f(x + alpha * p) > fx + c * alpha * np.dot(gx, p):
        alpha *= rho
    return alpha

# ===================== 3. BFGS 算法实现 =====================
def bfgs(f, grad, x0, tol=1e-6, max_iter=1000):
    x = x0.copy()
    n = len(x)
    H = np.eye(n)  # 初始近似Hessian逆
    path = [x.copy()]
    f_val = [f(x)]
    
    for _ in range(max_iter):
        g = grad(x)
        if np.linalg.norm(g) < tol:
            break
        # 搜索方向
        p = -H @ g
        # 线搜索
        alpha = line_search(f, grad, x, p)
        # 更新
        s = alpha * p
        x_new = x + s
        y = grad(x_new) - g
        # BFGS更新
        rho = 1.0 / (y @ s)
        I = np.eye(n)
        H = (I - rho * np.outer(s, y)) @ H @ (I - rho * np.outer(y, s)) + rho * np.outer(s, s)
        # 记录
        x = x_new
        path.append(x.copy())
        f_val.append(f(x))
    return np.array(path), f_val

# ===================== 4. 梯度下降(对比用)=====================
def gradient_descent(f, grad, x0, lr=1e-3, tol=1e-6, max_iter=50000):
    x = x0.copy()
    path = [x.copy()]
    f_val = [f(x)]
    for _ in range(max_iter):
        g = grad(x)
        if np.linalg.norm(g) < tol:
            break
        x = x - lr * g
        path.append(x.copy())
        f_val.append(f(x))
    return np.array(path), f_val

# ===================== 5. 运行对比 =====================
x0 = np.array([-1.5, 1.5])

start = time.time()
path_bfgs, f_bfgs = bfgs(rosenbrock, grad_rosenbrock, x0)
t_bfgs = time.time() - start

start = time.time()
path_gd, f_gd = gradient_descent(rosenbrock, grad_rosenbrock, x0)
t_gd = time.time() - start

print(f"BFGS 迭代:{len(f_bfgs)-1} 次,时间:{t_bfgs:.4f}s")
print(f"GD 迭代:{len(f_gd)-1} 次,时间:{t_gds:.4f}s")

# ===================== 6. 可视化:优化路径 =====================
X = np.linspace(-2, 2, 400)
Y = np.linspace(-1, 3, 400)
XX, YY = np.meshgrid(X, Y)
ZZ = 100 * (YY - XX**2)**2 + (1 - XX)**2

plt.figure(figsize=(10, 6))
plt.contour(XX, YY, ZZ, levels=np.logspace(-0.5, 3.5, 20), cmap="viridis")
plt.plot(path_bfgs[:,0], path_bfgs[:,1], "ro-", label="BFGS", markersize=4)
plt.plot(path_gd[:,0], path_gd[:,1], "bx--", label="Gradient Descent", markersize=2)
plt.title("BFGS vs GD 优化路径")
plt.xlabel("x")
plt.ylabel("y")
plt.legend()
plt.grid(True)
plt.show()

# ===================== 7. 收敛曲线 =====================
plt.figure(figsize=(10, 6))
plt.plot(f_bfgs, label="BFGS", linewidth=2)
plt.plot(f_gd, label="GD", linewidth=2)
plt.yscale("log")
plt.title("收敛曲线对比")
plt.xlabel("迭代次数")
plt.ylabel("函数值")
plt.legend()
plt.grid(True)
plt.show()

七、BFGS 优点(面试必背)

  1. 超线性收敛:比梯度下降快几十~几百倍
  2. 不用计算真实Hessian:避开O(n3)O(n^3)O(n3)求逆噩梦
  3. 稳定可靠:自动保持矩阵对称正定,保证下降方向
  4. 中小维度最优:参数维度几百~几千时效果最好
  5. 实现简单:只需线搜索 + 矩阵更新

八、BFGS 缺点(必须知道)

  1. 内存开销大:要存n×nn×nn×n矩阵,高维(>1000)吃不消
  2. 不适合随机梯度:深度学习批量SGD噪声大,BFGS容易崩
  3. 依赖线搜索:步长没选好会不收敛
  4. 非凸场景不稳定:鞍点多、地形复杂时容易失效

九、BFGS 家族对比(速记表)

算法二阶信息内存收敛速度适用场景
梯度下降无O(n)O(n)O(n)慢(线性)大规模/深度学习
牛顿法完整HessianO(n2)O(n^2)O(n2)极快(二阶)低维、Hessian好算
BFGS近似Hessian逆O(n2)O(n^2)O(n2)快(超线性)中小规模、光滑凸优化
L-BFGS有限记忆近似O(mn)O(mn)O(mn)快高维大规模(机器学习常用)

十、什么时候用 BFGS?

✅ 推荐用 BFGS

  • 无约束、光滑、接近凸的优化问题
  • 维度:几十 ~ 几千(n ≤ 1000)
  • 梯度可以精确计算,无噪声
  • 追求快速收敛 + 高精度

❌ 不要用 BFGS

  • 深度学习(CNN/Transformer)→ 用 Adam / SGD
  • 维度极高(n > 10^4)→ 用 L-BFGS
  • 梯度带噪声 → 用一阶自适应方法
  • 强非凸、鞍点多 → 用信赖域方法

十一、一句话总结

BFGS 是拟牛顿法的标杆,用梯度构造近似二阶信息,不计算真实Hessian却能超线性收敛,是中小规模光滑优化的首选算法。
高维场景请用它的升级版 L-BFGS。

优化算法-BFGS(原理) 参考了《最优化计算方法及其matlab程序实现》这本书,以及前人的总结经验,在本文中主要讨论BFGS算法的相关问题,并利用此方法进行算法的求解函数的极小值。 本文目标: 详细了解BFGS的推导 优化问题主流有两种方法,一是梯度下降法,一是牛顿法。牛顿法相比于梯度下降法有收敛速度快的优势,所以本文选择了牛顿法中的BFGS来进行讲解。 牛顿法的思想: 用迭代点Xk处的一阶导数(梯度)和二阶导数(Hesse阵)对目标函数进行二次函数近似,然后把二次函数的极小值点作为新的迭代... 阅读详情

相关推荐

BFGS算法及其matlab实现

一.前沿 上一篇文章介绍了基于秩1的拟牛顿算法,紧接上文,这次我们介绍关于秩2的拟牛顿算法,即BFGS算法。为啥叫BFGS算法,是因为这个鬼算法是由Broyden、Fletcher、Goldforb和Shanno这四个大佬发明的,BFGS校正算法是目前最流行,也是最有效的拟牛顿校正。 二.基本思想 拟牛顿法的基本思想是把牛顿法中用到的Hess阵用一个Hk矩阵来代替。那么Hk是什么呢?Hk的三个特点如下: (1)Hk近似等于牛顿法中的Hess阵,这样可以保证拟牛顿发所产生的方向与牛顿反向近似,从...

weixin_42332198的博客 1万+

优化算法——拟牛顿法之BFGS算法

一、BFGS算法简介 BFGS算法是使用较多的一种拟牛顿方法,是由Broyden,Fletcher,Goldfarb,Shanno四个人分别提出的,故称为BFGS校正。 同DFP校正的推导公式一样,DFP校正见博文“优化算法——拟牛顿法之DFP算法”。对于拟牛顿方程: 可以化简为: 令,则可得: 在B

null的专栏 7万+

Deep Learning from Scratch: Practical Programming with

作者:禅与计算机程序设计艺术 1.简介 深度学习(Deep Learning)是当前计算机领域一个热门的研究方向。近年来随着硬件算力的不断提升,深度学习在图像识别、语音识别、自动驾驶等多个领域都取得了突破性的成果。然而,对于一般人来说,掌握深度学习算法并应用于实际场景仍是一个复杂的任务。因此,本系列教程

AI天才研究院 973

详细介绍BFGS算法

在minimize函数中,我们指定了初始点theta0、使用BFGS算法求解(method='BFGS')、使用线性回归模型的梯度(jac=linear_regression_grad)以及一些其他的参数选项(options={'disp': True})。在minimize函数中,我们指定了初始点x0、使用BFGS算法求解(method='BFGS')、使用Rosenbrock函数的梯度(jac=rosen_grad)以及一些其他的参数选项(options={'disp': True})。

深度学习客 4284

人工智能_大模型044_模型微调004_随机梯度下降优化_常见损失计算算法_手写简单神经网络_实现手写体识别---人工智能工作笔记0179

然后对于,训练过程我们知道,其实就是让,训练所用的神经网络嵌套函数,也就是让很多神经元,可以看到常用的距离计算,有,其实这个距离计算,就是 预测值和结果值 的距离计算。epoch,就是执行一轮,就是一个epoch,一个epoch,也就传入一批的数据。然后对于,梯度下降,为了让训练的速度更好,更快的下降,又做了很多算法,可以看到。2.余弦距离:就是一个坐标系中,两个点,每个点和原点连起来,形成的夹角的角度.以上的代码中,使用了最简单的,神经网络模型来进行的,模型训练。可以看到和上面说的过程是一样的.

添柴程序猿的专栏 402

西工大noj100题python2024第三季21-30

【代码】西工大noj100题python2024第三季21-30。

weixin_70523540的博客 1581

Pytorch优化器全总结(三)牛顿法、BFGS、L-BFGS 含代码

这篇文章是优化器系列的第三篇,主要介绍牛顿法、BFGS和L-BFGS,其中BFGS是拟牛顿法的一种,而L-BFGS是对BFGS的优化,那么事情还要从牛顿法开始说起。L-BFGS即Limited-memory BFGS。 L-BFGS的基本思想就是通过存储前m次迭代的少量数据来替代前一次的矩阵,从而大大减少数据的存储空间。

xian0710830114的专栏 4万+

警惕AI依赖:如何避免数字水蛭侵蚀你的认知能力

在人工智能技术日益普及的今天,人机协作已成为现代工作流的核心范式。其原理在于通过算法模型辅助人类完成信息处理、内容生成等任务,从而提升效率。然而,过度依赖AI可能导致认知卸载,引发思考能力退化等潜在风险。从技术价值看,AI的核心在于增强而非替代人类智能,关键在于建立健康的协作模式。在应用场景上,无论是编程开发、内容创作还是决策分析,用户都需警惕工具依赖对深度工作、创造性思维和决策责任的侵蚀。本文聚焦于识别AI依赖的早期信号,并提供构建分阶段使用流程、将AI作为质疑者等具体策略,旨在帮助读者守护核心认知能力,

weixin_30240349的博客 626

ego(8)---L-BFGS优化算法与B样条生成最终轨迹

在经过上一步的为 Astar 路径点计算避障基准点与排斥方向后,就会在经过一道带避障约束的优化步骤,得到可以避障的轨迹控制点。这部分的内容也是一个循环迭代的过程,循环调用 L-BFGS 优化器与 B 样条,检测是否满足避障条件。不满足则继续循环优化与B样条。

龙猫的博客 1164

【车载开发系列】ParaSoft单元测试环境配置(一)

bdf是数据文件的一种类型,表示一种数据库文件。在ParaSoft当中,可以使用bdf文件来快速创建一个测试项目。

千月星跡 2148

沧小海深入剖析xilinx的GTP/GTX核,掌握高速串行收发机制——第六章 接收端结构及功能说明

总目录在这哦~ https://blog.youkuaiyun.com/z123canghai/article/details/107700878 第六章 接收端结构及功能说明 子目录 6.1 RX的模拟前端 6.2 RX的OOB信号 6.3 RX的均衡器 6.4 RX的CDR 时钟数据恢复 6.5 RX时钟输出结构 6.6 RX 的极性控制 6.7 RX 的PRBS 6.8 Rx字节、字的对齐功能 6.9 Rx接收弹性缓冲区 6.10 Rx的时钟纠正 6.11 Rx接收通道绑定 6...

滄海的博客 1万+

通俗易懂理解牛顿法

机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题。在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理,这几天做了一些调研,现把学习过程中理解的一些东西整理出来。 目录链接 (1) 牛顿法 (2) 拟牛顿条件 (3)&nbs...

weixin_44467105的博客 652

从FrSky到TBS:深度解析航模2.4G遥控协议江湖史(附ELRS高频头改装指南)

本文深度解析了航模2.4G遥控协议的技术演进史,从FrSky ACCST的兴衰到TBS Crossfire的崛起,再到开源协议ExpressLRS的革命性突破。文章不仅对比了各协议在延迟、距离与抗干扰能力上的技术内核,还提供了为多协议遥控器加装TBS Crossfire高频头的实战改装指南,帮助玩家打通协议壁垒,提升飞行体验。

weixin_29193259的博客 739

HoRain云--SciPy优化器全解析:高效求解各类问题

本文介绍了SciPy优化器模块(scipy.optimize)的多种优化算法及其应用场景。主要内容包括:1) 无约束优化算法如BFGS、Nelder-Mead和L-BFGS-B;2) 有约束优化方法如SLSQP和COBYLA;3) 全局优化技术如差分进化和盆地跳跃;4) 最小二乘拟合方法。文章提供了各类优化器的代码示例,并针对不同优化问题给出了算法选择建议。SciPy优化器适用于科学计算、工程优化和机器学习等领域,最新版本1.16.2在性能和算法上都有显著提升。

2401_86544677的博客 469

保姆级教程:Java调用海康SDK实现录像回放与倍速播放(附完整代码)

本文详细介绍了如何使用Java调用海康SDK实现录像回放与倍速播放功能,包括开发环境配置、设备连接、流媒体处理、倍速播放实现及性能优化等关键步骤。通过完整的代码示例和实战经验,帮助开发者快速构建智能录像回放系统,提升开发效率。

weixin_29285605的博客 360

PyTorch实战:卷积神经网络详解+Python实现卷积神经网络Cifar10彩色图片分类

PyTorch可以说是三大主流框架中最适合初学者学习的了,相较于其他主流框架,PyTorch的简单易用性使其成为初学者们的首选。这样我想要强调的一点是,框架可以类比为编程语言,仅为我们实现项目效果的工具,也就是我们造车使用的轮子,我们重点需要的是理解如何使用Torch去实现功能而不要过度在意轮子是要怎么做出来的,那样会牵扯我们太多学习时间。以后就出一系列专门细解深度学习框架的文章,但是那是较后期我们对深度学习的理论知识和实践操作都比较熟悉才好开始学习,现阶段我们最需要的是学会如何使用这些工具。

master_hunter的博客 8936

详解并行逻辑回归

详解并行逻辑回归

bgfuufb的博客 269

配置 SAP Fiori 服务的 ICF 节点:从 SICF 激活到访问链路打通的完整实践

在SAP Fiori项目实施中,ICF节点配置是关键前置条件却常被忽视。ICF(Internet Communication Framework)作为HTTP请求入口,需要通过SICF事务码激活相关服务节点,否则即使应用开发完善,用户仍可能遇到页面无法访问等问题。典型问题表现为:磁贴可点击但页面空白、资源加载失败等。激活路径主要涉及三组节点:bsp分支下的管理入口、ui5_ui5分支下的应用资源,以及public/bc下的公共资源。项目实施中需特别注意同名服务在不同分支下的差异化作用,确保完整链路通畅。IC

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 272

划重点!十分钟掌握牛顿法凸优化

AI有道一个有情怀的公众号之前,我发过一篇文章,通俗地解释了梯度下降算法的数学原理和推导过程,推荐一看。链接如下:简单的梯度下降算法,你真的懂了吗?我们知道,梯度下降算法...

红色石头的专栏 913

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

牛客网自然语言处理(NLP)专项练习总结

牛客网自然语言处理(NLP)专项练习总结过拟合与欠拟合1.有助于解决模型训练过程中的过拟合问题的方法2.解决欠拟合的方法梯度消失1.下面哪些方法有助于解决深度网络的梯度消失问题激活函数1.Sigmoid、tanh和Relu机器学习算法1.k-meansEM算法SVM决策树1.决策树有哪些常用的启发函数卷积优化算法NLP相关1.LSTM2.Word2vecWord2vec是**无监督**学习word...

g534441921的博客 4247

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

机器学习中牛顿法凸优化的通俗解释

之前,我发过一篇文章,通俗地解释了梯度下降算法的数学原理和推导过程,推荐一看。链接如下: 为什么局部下降最快的方向就是梯度的负方向? 我们知道,梯度下降算法是利用梯度进行一阶优化,而今天我介绍的牛顿优化算法采用的是二阶优化。本文将重点讲解牛顿法的基本概念和推导过程,并将梯度下降与牛顿法做个比较。 1. 牛顿法求解方程的根 有时候,在方程比较复杂的情况下,使用一般方法求解它的根并不容易。...

红色石头的专栏 5730

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

8本AI算法好书

云妹导读:学习一门新技术的时候,很多人会去读读官方文档,看看视频教程和一些demo代码,最后做项目去熟悉。但如果想深入掌握的话,也许最好的方法是读几本经得起时间推敲的好书,了解它的原理,实现和设计理念。 今天,阿里妹邀请多位阿里算法大牛,为大家推荐AI领域的经典之作。这些书,会加深你对AI技术的理解,也能让你逐渐体会到这份事业的乐趣与价值所在。 推荐书籍:《Pattern Recognition and Machine Learning》 推荐者:永叔(资深算法专家) 推荐理由:这本书是我机器学习入门的教材

waldron_bc的专栏 5712

看完这8本算法好书,才算真正懂了 AI

阿里妹导读:学习一门新技术的时候,很多人会去读读官方文档,看看视频教程和一些demo代码,最后做项目去熟悉。但如果想深入掌握的话,也许最好的方法是读几本经得起时间推敲的好...

阿里技术 6130

机器学习算法梳理-逻辑回归

学习内容: 逻辑回归与线性回归的联系与区别 线性回归面对的是一个连续值,逻辑回归面对的数据是离散值/类别预测。逻辑回归在线性回归实数输出值上施加了sigmoid函数将数值收敛到了(0-1)的范围之内。目标函数也从差平方和函数变为对数损失函数,已提供最优化所需的导数。逻辑回归是个处理0/1分类。 逻辑回归的原理 逻辑回归是使用logistic函数估计概率,训练数据之后,希望通过输入一个数据得...

ClayYe的博客 644

从经典论文看大模型的技术演进

过去十年间,人工智能领域的大模型取得了飞跃式的发展。从最初的词向量表示,到能够Few-Shot(少样本)学习的千亿参数模型,再到多模态、可调用工具的最新模型,每一阶段的技术创新都推动着AI能力的里程碑式提升。本文将以通俗易懂的方式,通过研究25篇经典论文,沿时间顺序梳理大模型技术演进的关键节点,总结每个阶段具有代表性的经典工作及其里程碑意义。 在深度学习兴起之前,计算机对单词的表示通常是“独热编码”(one-hot)形式,即用一个高维稀疏向量表示单词,无法体现词汇间的语义关系。2013年,Mi

u012374012的专栏 1585
上一篇: 通俗易懂讲透Adam优化器
下一篇: 通俗易懂讲透RMSProp优化算法
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值