Box-constrained L-BFGS 相关知识拓展

最新推荐文章于 2024-07-08 18:48:12 发布
原创 最新推荐文章于 2024-07-08 18:48:12 发布 · 4.5k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

探讨了L-BFGS算法在无约束优化问题中的应用，解析了牛顿法、拟牛顿法及其变种BFGS和L-BFGS的原理与优缺点。同时，介绍了框约束优化问题的挑战及L-BFGS作为一种解决方案的角色。
部署运行你感兴趣的模型镜像

Box-constrained L-BFGS 相关知识拓展

box-constrained optimization problem

在这里插入图片描述

hard problem

参考：https://hujichn.github.io/2016/07/14/什么是P、NP、NPC、NP-Hard问题/
https://www.jianshu.com/p/a350e563d9a9

P Problem: 对于任意的输入规模n，问题都可以在n的多项式时间内得到解决；
NP(Non-deterministic Polynomial) Problem: 可以在多项式的时间里验证一个解的问题；
NPC(Non-deterministic Polynomial Complete) Problem: 满足两个条件 (1)是一个NP问题 (2)所有的NP问题都可以约化到它
NP-Hard Problem: 满足NPC问题的第二条，但不一定要满足第一条
在这里插入图片描述

  • 判断一个NP问题是不是NP-Complete的两个方法：
    1、先证明至少是NP问题，然后找到一个NPC问题，经过证明可以约化到你的问题，这意味着你的方法可以解决这个NPC问题，那很显然，这个解决方法也是NPC的。
    2、所有的NP问题都可以reduced到你的问题
  • NPC问题目前没有多项式的有效算法，只能用指数级甚至阶乘级复杂度的搜索，而NP是可以在多项式的时间里验证一个解的问题，是有可能有多项式的有效算法。
  • 原文中的框约束优化问题，因为直接通过公式f(x+r)=l去约束优化的话，有些困难，是个NP hard，所以采用了box-constrained L-BFGS来近似。

L-BFGS

在无约束优化问题中，牛顿法及拟牛顿法是常用的方法，L-BFGS属于拟牛顿法。
参考博客：https://blog.youkuaiyun.com/dadouyawp/article/details/44179599#commentBox

  1. 牛顿法：f(x)二阶泰勒展开，并找极值点（有可能为极小值），通过迭代极小值得到最小值
    在这里插入图片描述
    优点：二次收敛性，收敛速度快
    缺点：当初始点远离极小值时，可能不收敛，因为牛顿方向不一定是下降方向
    步长固定，即使是下降方向，得到的点也未必是最小值，而是附近值
  2. 阻尼牛顿法
    在这里插入图片描述
    在牛顿方向上寻求最优步长，并调整
  3. 拟牛顿法
    原因：二阶Hession矩阵未必可逆，所以需要找能满足相同条件的Hk+1来替代，也成为拟牛顿条件。
    在这里插入图片描述
    常用的获取Hk+1（一般都为正定矩阵）的方法：
    在这里插入图片描述
  4. DFP算法
    找寻校正矩阵的构造方法，寻求特殊解
    在这里插入图片描述
  5. BFGS算法
    拟牛顿条件更改为：
    在这里插入图片描述
    该条件的特殊解方法同上，然后再求逆，得到Hk+1
    在这里插入图片描述
  6. L-BFGS算法
    原因：每次迭代都要存储Hk+1，n×n的空间，对大规模优化问题不够友好，所以改为存储近m次的q和p，这样空间就缩小为m×n大小。求下降方向时可采用two-loop recursion方法来计算
    在这里插入图片描述在这里插入图片描述

矩阵相关

  1. 正定矩阵
    在这里插入图片描述
  2. 对称正定矩阵
    在这里插入图片描述
  3. 可逆矩阵
    在这里插入图片描述
  4. 奇异矩阵
    奇异矩阵是线性代数的概念，就是该矩阵的秩不是满秩。但首先要看这个矩阵是不是方阵（即行数和列数相等的矩阵。若行数和列数不相等，那就谈不上奇异矩阵和非奇异矩阵）。

autoencoder

自动编码器由编码器和解码器组成，两者均可以为认为模型，先通过编码器降维到code中（类似于PCA的降维作用），然后通过另外一个神经网络去解码得到一个与输入原数据一模一样的生成数据，然后通过去比较这两个数据，最小化他们之间的差异来训练这个网络中编码器和解码器的参数。
优点：当原始数据包含大量信息时，先把信息量压缩，得到最具有代表性的数据，然后再进行学习。目前主要应用有两个方面，第一是数据去噪，第二是进行可视化降维。还可以用来生成数据。
在这里插入图片描述

变分自动编码器(Variational Autoencoder)

参考：https://www.jianshu.com/p/78f91e8aafed

  • 与自动编码器的区别：给隐含向量code增加约束，使其粗略的遵循一个标准正态分布，这样，当我们需要生成图片时，只需要把标准正态分布作为输入送到解码器中即可。
  • 此时训练的loss包含两部分：生成图片与原图片的均方误差；KL divergence来衡量隐含向量分布与标准正态分布之间的相似程度。
    在这里插入图片描述

lipschitz常数，lipschitz条件

对于函数 y=f（x）在定义域为D上，如果存在 L ∈R ,且L>0，对任意 x1,x2 ∈D，有：|f(x1)-f(x2)|≤ L|x1-x2|，
则称 L 为 f(x) 在D上的Lipschitz常数。
Lipschitz条件，即利普希茨连续条件（Lipschitz continuity）。其定义为：对于函数f(x),若其任意定义域中的x1,x2，都存在L>0，使得|f(x1)-f(x2)|≤L|x1-x2|。
也即存在一个实数L，使得对于函数f（x）上的每对点，连接它们的线的斜率的绝对值不大于这个实数L，从而限制了函数改变的速度，保证函数分布的光滑性。最小的L称为该函数的Lipschitz常数。

Jacobian矩阵，Hessian矩阵

  • 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式
    在这里插入图片描述
  • 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵
    在这里插入图片描述

Parseval’s formula

揭示了信号在时域和频域上的功率相等
在这里插入图片描述

您可能感兴趣的与本文相关的镜像

Seed-Coder-8B-Base

Seed-Coder-8B-Base

文本生成
Seed-Coder

Seed-Coder是一个功能强大、透明、参数高效的 8B 级开源代码模型系列，包括基础变体、指导变体和推理变体，由字节团队开源

L-BFGS （Limited-memory BFGS）优化算法原理与代码实战案例讲解
AI天才研究院
10-05 2142
优化算法是许多科学和工程领域的关键技术，广泛应用于机器学习、信号处理、经济学、工程优化等领域。优化问题的目标是在给定的约束条件下，找到函数的最小值或最大值。在众多优化算法中，L-BFGS（Limited-memory BFGS）算法因其优异的性能和良好的鲁棒性而被广泛应用于求解无约束和约束优化问题。初始化L-BFGS矩阵B和向量s、y。计算目标函数的梯度g和Hessian近似V。更新L-BFGS矩阵B、s、y。根据B和y计算搜索方向d。根据搜索方向d更新参数x。
约束优化方法(Constrained Optimization )
weixin_33709590的博客
08-08 4424
 在优化问题中，往往会有约束条件，即我们希望在约束条件下求得优化问题的最优解。对于等式约束的优化问题，我们可以直接应用拉格朗日乘子法去求取最优值；对于含有不等式约束的优化问题，则可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。 约束优化 无约束优化 我们首先来看一个无约束的优化问题： 其中，，是凸函数，这种问题求解很简单，只需要找到令 的 点即可. 等式约束 下面，我们给优化问...
Intriguing properties of neural network（Box-constrained L-BFGS）
Evabook的博客
03-11 1687
Intriguing properties of neural network（Box-constrained L-BFGS）论文简述semantic meaning of individual units先前工作作者观点验证方法思考思考 论文简述 本篇论文首先提出了对抗样本（Adversarial example）的概念，找出神经网络的盲点，为之后对抗攻击系列奠定下基础。本文提出了两个神经网络的...
为什么 Non-Convex Optimization （非凸优化）受到了越来越大的关注？
weixin_34277853的博客
12-04 9584
2019独角兽企业重金招聘Python工程师标准>>> ...
图像分类白盒对抗攻击技术总结
十二月未央未眠
04-20 7051
目录1.对抗攻击背景知识2.白盒攻击技术2.1 基于直接优化得攻击方法2.1.1 基于 Box-constrained L-BFGS 的攻击2.1.2 C&W 攻击2.2 基于梯度优化的攻击方法2.2.1 FGSM 攻击（基于一步梯度计算的对抗样本生成算法）2.2.2 I-FGSM 攻击（迭代的FGSM算法）2.2.3 PGD攻击（迭代的 FGSM 算法，与 I-FGSM 攻击类似）2.2.4 MI-FGSM 攻击（基于动量的迭代生成对抗样本的 MI-FGSM 算法）2.3 基于决策边界分析的攻击
对抗攻击1：L-BFGS(Limited Memory Broyden-Fletcher-Goldfarb-Shanno)
欢迎来到道的世界
04-03 4028
 L-BFGS是最早被设计攻击深度神经网络模型的对抗攻击算法。它的最终目标是在输入的约束空间中找到一个不可察觉的最小输入扰动arg⁡min⁡r∥r∥2\arg \min\limits_r \|r\|_2argrmin​∥r∥2​，即r=x′−xr=x^{\prime}-xr=x′−x，并使模型分类出错y^(x′)≠y\hat{y}(x^{\prime})\neq yy^​(x′)​=y。Szegedy等人使用L-BFGS算法将这个困难求解的优化问题转换成一个盒约束的形式，其目标是找到对抗样本x′x^{\p
对抗样本（二）L-BFGS
白丁的博客
02-29 3942
文章目录一、论文相关信息  1.论文题目  2.论文时间  3.论文文献二、论文背景及简介三、论文所使用的符号及数据等信息四、论文主要内容1、第一个特征 神经元的语义信息2、第二个特征 神经网络的盲点五、实验结果六、模型的不稳定性分析七、总结 一、论文相关信息   1.论文题目     Intriguing properties of neural networks   2.论文时间    ...
精选资源
k-means-constrained:K均值聚类-受最小和最大聚类大小限制
05-18
您可以从PyPI安装k-means-constrained： pip install k-means-constrained 在Python 3.6及更高版本中受支持。 例子 可以在API文档中找到更多详细信息。 >> > from k_means_constrained import KMeansConstrained...
精选资源
matlab精度检验代码-Locality-constrained-Linear-Coding-for-Image-Classificatio
05-22
matlab精度检验代码局部约束线性编码的图像分类2010年推翻 项目介绍 我们的小组致力于图像分类的局域约束线性编码（2010年）。 在这个项目中，我们经历了三个阶段，实现了我们在提案中设定的目标。...
帕塞瓦尔定理（Parseval）
颹蕭蕭
09-29 2万+
连续时间傅里叶变换 ∫−∞∞∣x(t)∣2dt=∫−∞∞x(t)xˉ(t)dt=12π∫−∞∞x(t)[∫−∞∞X(ω)eiωtdω]‾dt=12π∫−∞∞x(t)[∫−∞∞X‾(ω)e−iωtdω]dt=12π∫−∞∞[∫−∞∞x(t)e−iωtdt]X‾(ω)dω=12π∫−∞∞X(ω)X‾(ω)dω=12π∫−∞∞∣X(ω)∣2dω \begin{aligned} &\int_{-\infty}^{\infty} |x(t)|^2 dt \\\\ =& \int_{-\infty}^{
cv对抗攻击
Seaern的博客
07-16 356
Intriguing properties of neural networks（Box-constrained L-BFGS） 作者发现了可以通过对抗攻击使神经网络做出错误的预测，需要在图片上加入一些微小的扰动信息得到对抗样本，这些扰动信号要足够小不容易区分。该扰动是通过最大化网络的预测误差发现的。 此外，这些扰动的特定性质不是学习的随机产物：相同的扰动会导致在数据集的不同子集上训练的不同网络对相同输入出现分类错误。 作者提出了一种生成对抗样本的方法，称为 Box-constrained L-B..
【论文精读】 Intriguing properties of neural networks
m0_52739647的博客
07-08 1646
经典论文、对抗样本领域的开山之作发布时间：2014论文链接: https://arxiv.org/pdf/1312.6199.pdf作者：Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus写在前面：该文章已经发表10年了，该领域的发展十分迅速，本文中的一些观点可能并不准确。
对抗样本与对抗训练
热门推荐
cdpac的博客
12-07 3万+
本文将会介绍对抗样本与对抗训练的相关知识（请将此对抗训练与Ian Goodfellow的生成对抗网络区别开来）。综合Ian Goodfelow在Burkeley CS 294-131的deeplearning topic上面的讲义，我将从以下几个方面介绍： 什么是对抗样本？ 它们是怎么出现的？ 它们是怎么危害到机器学习系统？ 有什么办法防范？ 怎样使用对抗样本训练机器学习？
L-BFGS算法
ACdreamer
03-29 2万+
前面的文章中，讲述过BFGS算法，它是用来求解最优化问题的，在这个算法中，相对于普通的牛顿迭代法有很大的改进。链接：http://blog.youkuaiyun.com/acdreamers/article/details/44664941。在BFGS算法中，仍然有缺 陷，比如当优化问题规模很大时，矩阵的存储和计算将变得不可行。为了解决这个问题，就有了L-BFGS算法。     Contents
论文阅读:神经网络的有趣性质(Intriguing Properties Of Neural Network)
SYSU_BOND的博客
04-02 3751
这篇文章提出对抗样本（Adversarial example）这个坑。所谓对抗样本，就是在原样本上引入细微扰动，就能使得模型出现误分类的情况，这也是对抗生成网络的启发思想深度学习自诩为特征学习的模型，但是这特征由数据出发进行自主的学习，故而其学习到的特征并不一定就是我们所希望的特征，有一点可以确定的是，其对数据的理解与人的理解有着很大的差异，故而，其学习到的特征，也极有可能并非是人理解事物的特征。...
机器视觉中使用深度学习所面临的对抗攻击——Survey（上）
Erpim的博客
11-26 2万+
1、Box-constrained L-BFGS Szegedy[22] 等人首次证明了可以通过对图像添加小量的人类察觉不到的扰动误导神经网络做出误分类。他们首先尝试求解让神经网络做出误分类的最小扰动的方程。但由于问题的复杂度太高，他们转而求解简化后的问题，即寻找最小的损失函数添加项，使得神经网络做出误分类，这就将问题转化成了凸优化过程。 2、Fast Gradient Sign Method...
深度学习之对抗样本问题
weixin_34348111的博客
07-29 713
深度学习之对抗样本问题 2006 年，Geoffrey Hinton 提出了深度学习。受益于大数据的出现和大规模计算能力的提升，深度学习已然成为最活跃的计算机研究领域之一。深度学习的多层非线性结构使其具备强大的特征表达能力和对复杂任务的建模能力。最近几年，深度学习的发展也带动了一系列的研究。尤其是在图像识别领域，在一些标准测试集上的试验表明，深度模型的识别能力已经可以达到人类的水平。但是，人们还...
对抗样本机器学习_Note1
VisualCortex
12-05 4550
对抗样本机器学习_Note1
论文阅读笔记：Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey
qq_36356761的博客
03-14 2976
论文阅读笔记：Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey 要点 (universal adversarial perturbation)[1] 3D物理对抗样本 对抗样本生成 Box-constrained L-BFGS minρminρ\min_{\rho} Fast ...
BRDF-Constrained MVS
最新发布
08-16
### BRDF-Constrained Multi-View Stereo Methods and Applications 在多视角立体视觉（Multi-View Stereo, MVS）领域，基于双向反射分布函数（Bidirectional Reflectance Distribution Function, BRDF）约束的方法已经成为提升三维重建质量的重要研究方向。传统的MVS方法通常假设物体表面为朗伯反射（Lambertian Reflectance），这种假设在面对具有复杂反射特性的非朗伯表面时，容易导致重建结果的不准确。而引入BRDF约束可以更好地建模真实场景中的表面反射特性，从而提高重建的精度和鲁棒性。 BRDF描述了表面在给定入射方向和出射方向下的反射特性。通过将BRDF模型纳入MVS框架，可以更准确地估计表面法线和深度信息。具体来说，这种方法利用多视角图像中的光照变化和视角变化，结合BRDF模型对表面反射行为的预测，来优化重建过程。例如，在表面法线估计中，可以使用BRDF约束来减少由于非朗伯反射引起的误差，从而获得更精确的法线方向[^1]。 在实际应用中，BRDF-Constrained MVS方法已经被广泛应用于三维重建、虚拟现实、增强现实等领域。在三维重建方面，这些方法能够处理具有复杂表面材质的物体，如金属、玻璃等，从而生成更加真实的三维模型。在虚拟现实和增强现实中，准确的表面反射建模可以提升视觉效果的真实性，使得虚拟场景与真实环境更加融合。 此外，BRDF-Constrained MVS方法还在医学成像、工业检测等领域展现出潜在的应用价值。例如，在医学成像中，通过精确建模组织表面的反射特性，可以获得更准确的三维解剖结构模型，有助于手术规划和导航。在工业检测中，这些方法可以帮助检测表面缺陷，提高检测的精度和可靠性。 ### 示例代码 以下是一个简单的Python示例，展示如何使用OpenCV库进行多视角立体视觉重建： ```python import cv2 import numpy as np # 读取多视角图像 images = [cv2.imread(f'view_{i}.jpg') for i in range(1, 6)] # 提取SIFT特征 sift = cv2.SIFT_create() keypoints = [] descriptors = [] for image in images: kp, des = sift.detectAndCompute(image, None) keypoints.append(kp) descriptors.append(des) # 匹配特征点 matcher = cv2.BFMatcher() matches = [] for i in range(len(images) - 1): match = matcher.knnMatch(descriptors[i], descriptors[i + 1], k=2) good_matches = [] for m, n in match: if m.distance < 0.75 * n.distance: good_matches.append(m) matches.append(good_matches) # 重建三维点 points_3d = [] for i in range(len(matches)): points1 = np.float32([keypoints[i][m.queryIdx].pt for m in matches[i]]) points2 = np.float32([keypoints[i + 1][m.trainIdx].pt for m in matches[i]]) E, mask = cv2.findEssentialMat(points1, points2, focal=1.0, pp=(0., 0.), method=cv2.RANSAC, prob=0.999, threshold=3.0) _, R, t, mask = cv2.recoverPose(E, points1, points2) points_4d = cv2.triangulatePoints(np.eye(4)[:3], np.hstack((R, t)), points1.T, points2.T) points_3d.append(points_4d / points_4d[3]) # 可视化三维点 import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D fig = plt.figure() ax = fig.add_subplot(111, projection='3d') for points in points_3d: ax.scatter(points[0], points[1], points[2]) plt.show() ``` ### 相关问题 1. BRDF模型在多视角立体视觉中的具体实现方法有哪些？ 2. 如何评估BRDF-Constrained MVS方法的重建精度？ 3. BRDF-Constrained MVS方法在处理动态场景时的挑战是什么？ 4. 有哪些开源库或工具支持BRDF-Constrained MVS方法的实现？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值