- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 约束优化问题的KKT条件推导
KKT条件是约束优化问题最优解的一阶必要条件，证明角度有很多，比较容易看懂的是从约束条件梯度线性无关角度出发的证明，下面进行分析。约束优化问题的一般形式可写为minx∈Rnf(x)s.t.{ci(x)=0,i∈Eci(x)≤0,i∈I(1)\min_{x\in \mathbb{R} ^n} f\left( x \right) \\s.t. \left\{ \begin{aligned} c_i(x)&=0, i\in \mathcal{E}\\ c_i(x)&\le 0, i\in
2021-08-03 19:14:10
3120
原创 最优化学习笔记1——关于拟牛顿法推导
从2020年3月份到现在，一年的时间里断断续续自学最优化，结合豆瓣读书、知乎等网站上的推荐，翻阅了以下书和课程：Stephen Boyd和Lieven Vandenberghe的《Convex Optimization》，这本书被公认为学习凸优化的必读经典著作，其中大量的篇幅讲应用，讲理论和算法的篇幅稍少一些。在B网站上有Boyd的视频课程，油管上也有，不过只有英文字幕，如果是零基础接触，直接看Boyd的视频稍显费劲，B站上也有凌青老师以《Convex Optimization》为教材的讲解，推荐作为入
2021-04-15 22:53:15
1481
1
原创 MATLAB安装优化工具包OPTI Toolbox
Matlab自带优化工具箱提供了fmincon等诸多函数解决含约束条件的优化问题，但如果需要求解含整数约束的混合优化问题，fmincon就不是特别合适了，虽然提供了遗传算法优化函数ga，不过速度可能比较慢，因此有时候需要寻求第三方工具箱，最近发现一款名为OPTI Toolbox的三方工具箱可以作为Matlab自带优化工具箱的补充，用于求解一些比较复杂的问题。OPTI Toolbox集成了一系列优化求解器，其官方主页为https://www.inverseproblem.co.nz/OPTI/index.ph
2020-08-01 15:50:34
16182
36
原创 MATLAB数值求解带参数方程
MATLAB里面数值求解方程的函数为fsolve，MATLAB自带的帮助文档里有如何直接使用的例子，但没有如何解带参数方程的例子，其实只需要对待求解方程稍作修改即可。比如我们求如下关于x1x_1x1和x2x_2x2的方程：e−e−(x1+x2)−x2(1+x12)−c1=0x1cos(x2)+x2sin(x1)−c2=0e^{-e^{-(x_1+x_2)}}-x_2(1+x_1^2)-c_1=0\\x_1\cos(x_2)+x_2\sin(x_1)-c_2=0e−e−(x1+x2)−x2
2020-07-18 15:25:00
16119
原创 关于姿态运动的一些总结2_欧拉角与四元数
我们在上一篇姿态运动博客中介绍了旋转矩阵的一些基本性质，参考文献[1]中的做法，主要是引入了R(n^,θ)\boldsymbol{R}(\hat{\mathbf{n}},\theta)R(n^,θ)，关于R(n^,θ)\boldsymbol{R}(\hat{\mathbf{n}},\theta)R(n^,θ)可以这么理解，将n^\hat{\mathbf{n}}n^类比为z^\hat{\mathbf{z}}z^轴，任意矢量v\mathbf{v}v沿着n^\hat{\mathbf{n}}n^方向的投影为v∥=(
2020-05-17 10:37:34
926
原创 关于姿态运动的一些总结1_姿态旋转矩阵性质
控制的一大类对象为以机器人为代表的运动体控制，相应地，我们会比较关心三维空间中被控对象的运动状态，即位置、速度和姿态，对位置和速度的描述需要首先确定坐标系，即是在什么坐标系下的位置和速度，而姿态则描述坐标系与坐标系之间的关系。本部分的主要参考文献为[1]和[2]。我们通常采用右手坐标系描述运动量，设三维空间中有两个原点重合的坐标系：s\mathrm{s}s系{x^s,y^s,z^s}\{\hat...
2020-05-05 10:43:40
1291
1
原创 凸优化学习笔记_chapter10_带等式约束凸优化问题1
chapter 10 Equality constrained minimization主要研究带等式约束的凸优化问题10.1 Equality constrained minimization problems描述形式如下minimizef(x)subject toAx=b(1)\begin{aligned}&\text{minimize}\quad f(x)\\...
2020-05-03 09:01:42
2836
原创 凸优化学习笔记_chapter9_牛顿法收敛性分析
一、牛顿法计算步骤首先给出牛顿法求解无约束优化问题的一般步骤：给定起始点x∈domfx\in\mathbf{dom}fx∈domf，阈值ϵ>0\epsilon>0ϵ>0。1.计算牛顿步（方向）和减少量Δxnt:=−∇2f(x)−1∇f(x);λ2:=∇f(x)T∇2f(x)−1∇f(x)(1)\Delta x_\mathrm{nt}:=-\nabla^2f(x)^{-...
2020-05-01 21:57:29
3132
4
原创 凸优化学习笔记5
《convex optimization》的第6到8章是凸优化的应用，可以根据具体需要再回头查阅，第9到11章则是讲算法，当然也是比较基础的算法，如果专门研究优化算法可以再查阅相关文献。9.1 Unconstrained minimization problems无约束优化算法的研究对象为minimizef(x)\text{minimize}f(x)minimizef(x)其中，f...
2020-04-24 20:58:52
562
原创 关于控制的一些感想1
控制学科在理论上主要和以微分方程为代表的所谓被控对象模型打交道，根据微分方程是否为线性的，一般将被控对象分为线性系统和非线性系统。对于线性系统，数学家已经发展了矩阵这个强大的工具，因此相对于非线性系统，对于线性系统的研究更为充分。对于非线性系统，除去自动控制原理教材上的经典方法，现阶段深入一些的理论研究有点像数学游戏，很多都是YY一个在实际中也许并不存在的微分方程，然后作各种假设，推导一个控制律，...
2020-04-14 21:45:30
373
1
原创 关于最优控制的一些总结3
上一次总结了利用变分法推导得到的典型情形下最优控制需要满足的必要条件，具体的推导在大部分最优控制教材中都可以找到，并且在这些教材中一般会将变分法、极小值原理和动态规划作为最优控制的三大理论支撑。事实上，变分法的历史要比最优控制久远许多，并非专门为最优控制而生，只是后来人们发现可以用变分法求解最优控制问题，因此也将其作为最优控制的理论支撑之一。1.关于极小值原理我们接下来看看极小值原理，它的核心...
2020-03-27 13:28:07
2467
原创 强化学习笔记1
研究强化学习的有两拨人，一拨是计算机出身，认为强化学习是机器学习的分支，考虑到现阶段的所谓主流机器学习大量使用概率统计知识，机器学习约等同统计机器学习，而强化学习本是炒冷饭，是被机器学习的火热带起来的，计算机出身的人编写的强化学习资料中也充斥着期望、方差、条件期望等统计学术语，现阶段机器学习、深度学习等研究的火热也是这拨人发动起来的；一拨人是控制出身，认为强化学习约等同于最优控制，具体来说是最优控...
2020-03-26 20:21:38
379
原创 凸优化学习笔记4
Chapter 5 Duality 主要是讲优化问题的对偶，是整本书理论部分的核心。5.1 The Lagrange dual function对于一般优化问题(primal problem)minimizef0(x)subject to fi(x)≤0,i=1,…,mhi(x)=0,i=1,…,p\begin{aligned}\text{minimize}\quad...
2020-03-15 17:53:36
300
原创 凸优化学习笔记3
Chapter 4 Convex optimization problems《Convex Optimization》一书一直到第4章才算正式处理凸优化问题，第2章和第3章分别介绍了凸集和凸函数的一些知识，而凸优化问题的组成要素就是凸集和凸函数，重点是面对自己专业领域的一个优化问题，如何想办法将其转换为凸优化问题。4.1 Optimization problems优化问题的一般描述如下：m...
2020-03-11 14:52:14
317
原创 凸优化学习笔记2
Chapter 3 Convex functions 凸函数的相关内容3.1 Basic properties and examplesDefinition(定义1): domf\mathbf{dom}fdomf is a convex set, 0≤θ≤10\leq\theta\leq 10≤θ≤1, f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(\theta x+(1-\t...
2020-03-08 19:05:47
784
原创 凸优化学习笔记1
学习教材主要是Boyd的《Convex Optimization》Chapter 2 convex sets，主要是convex sets的一些数学定义，以及一些常见的convex sets。2.1 Affine and convex setslines: y=θx1+(1−θ)x2=x2+θ(x1−x2)y=\theta x_1+(1-\theta)x_2=x_2+\theta (x_...
2020-03-03 22:17:08
392
原创 关于最优控制的一些总结2
上一次总结了终端时刻固定和自由两种情形下利用变分法得到的必要条件，在大部分最优控制教材中都会介绍这些条件，有的教材还会进一步利用变分法推导含有内点约束（即关于某个时刻系统状态的等式约束）、过程约束（系统在整个过程中状态和控制量应满足的等式和不等式约束）的情形，这些推导的复杂性会有些增加，感兴趣的读者可以进一步参考文献[1]，下面给出两种相对简单的情形。1.含有控制量的等式约束设关于控制量的等式...
2020-02-25 22:17:53
1154
原创 关于最优控制的一些总结1
控制理论发展到现在，可以说成果丰硕，特别是在理论方面每年都有大量的论文发表，相应的控制方法分支也很多(这里主要是指现代控制理论，以频域分析为代表的经典控制理论在控制工程中用得比较多，而且通常在本科阶段的自动控制原理课程上讲得比较多了，同时以MATLAB为代表的软件也将频域分析工具做得比较完善了，所以主要是实际应用，但不太好写论文发表)，一般在控制理论专业的研究生课程里面多少会接触一些控制分支的入门...
2019-12-28 20:45:20
5673
2
原创 关于自抗扰控制的一些中文论文
诚如之前博客一直强调的，控制理论方面如果是为了写论文的话，找几篇感兴趣的TAC、Automatica、Letters等期刊上面的文章仔细研读，弄明白套路后就容易结合自己的研究方向写出新的，如果重点是工程应用，其实更有意义的是频域方面的研究，而不是拿一个Laypunov函数推来推去，像做数学题似的自娱自乐，自抗扰控制也不例外，这里推荐一些综述和偏重频域方面的自抗扰控制中文论文，有兴趣的读者可以按图索...
2019-10-06 23:01:19
2807
3
原创 关于自抗扰控制的稳定性分析
前面3篇博客分析了扩张状态观测器(ESO)收敛性分析的套路，基本上是过了一遍原文献的证明步骤，穿插一些说明，目的在于让人看清证明背后的思想。考虑到ESO是自抗扰控制(ADRC)的核心，因此ADRC的稳定性证明套路其实在一定程度上也借鉴了ESO收敛性套路。文献[1]首次给出了多输入多输出系统ADRC稳定性的完整证明，但其使用的符号比较多，且数学味过于浓厚，毕竟文献[1]对应的期刊其实是一本数学期刊，...
2019-10-03 16:27:13
5724
5
原创 自抗扰控制中的扩张状态观测器收敛性分析3
前面两篇博客里我们分析了文献[1]在关于Lyapunov函数的两种假设条件下证明积分形式系统扩张状态观测器(ESO)收敛性的套路，文献[1]还用齐次性说明了后一种假设条件的适应性，以表明有一定的应用性。仿照文献[1]的套路，根据自己大论文的研究方向加一个所谓的工程应用背景(其实还是一个微分方程模型)，只要模型形式能够想办法改写成积分形式，然后控制器设计上再做点小改动，核心思想还是在Lyapunov...
2019-09-22 17:39:13
2773
4
原创 自抗扰控制中的扩张状态观测器收敛性分析2
上一篇博客里我们分析了文献[1]证明积分形式系统扩张状态观测器(ESO)收敛性的套路(以下称博客1)，并且指出收敛性分析依赖于假设Lyapunov函数存在且满足一定条件(即假设3)，这个假设随后在文献[1]中进一步放宽如下：假设4：存在常数RRR，α>0\alpha>0α>0以及正定连续可微函数VVV，WWW：Rn+1→R\mathbb{R}^{n+1}\rig...
2019-09-10 22:23:28
2979
2
原创 自抗扰控制中的扩张状态观测器收敛性分析1
扩张状态观测器(extended state observer, ESO)是自抗扰控制(active disturbance rejection control, ADRC)的核心组成部分，在自抗扰控制的相关文献中大都会反复出现ESO和ADRC这两个英文缩写词。关于ADRC的具体思想和设计方法可以参见其发明者韩京清的专著[1]，不过，专著[1]中更多地从工程角度对ADRC进行分析，而本文则主要是分...
2019-08-25 22:27:14
8768
12
MATLAB OPTI Toolbox工具箱，包括scip.mexw64文件和sedumi求解器，求解器相对比较全
2020-08-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人