天天向上的专栏

借助 chaptgpt 和 deepseek，成功实现了c++上的多阶段报童模型的动态规划。花费了几天，将以前的 java 程序用 c++ 实现。

前几天在小红书刷到一个帖子，一位网友提供了另外一种巧妙的方式，记录如下。函数中的绝对值线性化有多种方法，包括我之前的。

根据书籍 Snyder, Lawrence V., and Zuo-Jun Max Shen. Fundamentals of supply chain theory. John Wiley & Sons, 2019 中的相关章节整理。

使用 python 编写了多阶段报童模型的动态规划算法。

渐进最优 (asymptotically optimal) 这个名词看到很多次了，在这篇博客总结一下这个概念。一个算法的复杂度，在输入值无限大时，与已知的最优算法的复杂度相比（相除），为一个常数，则该算法为渐进最优算法。的极限存在（若存在，极限值为1），则该算法为渐进最优算法。为输入值的大小，当前算法的运行时间为。，而堆排序与归并排序的算法复杂度都是。例如，最优的排序算法的复杂度为。若最优算法的运行时间下界为。，因此这两个算法为渐进最优。

在随机规划的书籍或论文中，时常能见到 almost surely convergence （几乎必然收敛）这个名词。在这篇博客里，我总结整理一下这个名词的相关知识点。这篇博文基于维基百科的条目以及国外一本概率教材的。

函数的定义域比较熟悉，就是函数有定义的一个输入值集合。上图中的XXX就是函数fff的定义域。

偶尔在一个数学题里面看到求两向量所在平面的法线，常规方法可以通过法线与两向量垂直这一特点，列两个方程求解；另外一种方法可以通过求解两个向量的叉积，用矩阵行列式 (determinant) 的方式，之前还没见过，在这篇博客里记录下。为两向量的夹角，法线的长度为这两个向量形成的平行四边形的面积。这跟叉积，点积以及行列式，余子式的几何意义有关。, 可以得到公式 （1），因此可以使用行列式来计算叉积！具体在求解上，求解矩阵行列式非常方便，假如为三维向量，它的几何意义就是这两个向量所在平面的法线，其中。

拉格朗日松弛（Lagrangean Relaxation）方法在混合整数规划、非线性规划中应用非常广，并且线性规划的对偶本质上也是拉格朗日松弛。本文基于《Foundamentals of Supply Chain Theory》这本书中关于拉格朗日松弛的介绍，总结一下该方法。(P)​mins.t.​​cxAxbDx≤ex≥0or binary​​在上面的模型中，cxbe是向量，AD是矩阵，部分x可以是 0-1 变量。

不少题我参考了网上找到的一些资料的思路，但是有一些题目我觉得这些网上找到的答案也不太好，自己修正完善了下，少部分题目自己独立完成。费了好长时间，终于把这本经典理论教材第二章的课后题做完了。大部分都是证明题，很多都是比较有难度的。

第一章的课后题明显比第二章简单多了，第一章最难的反而是第一道题。

这个函数可以在定义域内找到不相交的子区间，它们的长度和小于某个常数，但是在所有子区间的绝对偏差和可以达到无穷大 （令。除了 Lipschitz 连续，还有绝对连续(absolute continuous, 不仅要求一致连续，还要求。经常听到这个名词， Lipschitz 连续比普通连续更强，不仅要求函数连续，还要求函数的梯度小于一个正实数。（对函数的绝对值求积分，不是无穷大，是存在勒贝格积分的条件）对于多变量函数，要求在任何一个变量上的梯度都小于等于。

线性规划导论 Introduction to linear optimization (Dimitris Bertsimas and John N. Tsitsiklis, Athena Scientific, 1997)， 这本书的课后题答案我整理成了一个 Jupyter book，发布在网址：欢迎访问与指正。

这个性质早就知道了，但并不太清楚严谨的证明是什么。这也是《Introduction to linear optimization》书中第三章课后题的第一题。这篇博客给出严谨的证明。We prove this problem by contradiction (反证法).

组合优化问题、混合整数规划模型的相关论文中经常接触这 3 个名词：分支定界(branch-and-bound)，分支切割(branch-and-cut)，分支定价(branch-and-price)，有时候会混淆。

在论文中看到一个混合整数规划问题的对偶，非常有意思，发现拉格朗日对偶非常强大，在这篇博客里记录总结一下。

单纯形是 n 维空间 n+1 个仿射无关的点的集合的凸包。

凸优化在学术研究中非常重要，经常遇到的问题是证明凸性。常规证明凸性的方式是二阶导数的黑塞矩阵为半正定，或者在一维函数时二阶导数大于等于零。但很多时候的数学模型并不那么常规、容易求导的，若能够知道一些保留凸性的运算，将能够显著减少证明凸性的难度。这篇博客总结一些这个知识点。

根据课本上推论 2.2，非空标准型多面体必有一个基可行解。根据定理 2.4， 在基解中，非基变量（一共有。点评：这道题主要考察了非空标准型多面体必存在一个基可行解到性质（标准型多面体的形式为。由于它是非空标转型多面体，存在一个基可行解。根据定理 2.4，非基变量（一共有。是一个标转型多面体，并且是非空的（因为。

L-shape 方法是求解两阶段随机规划的一种常用方法，基本思想是利用切平面将第二阶段的反馈函数线性化，在构造切平面条件时有点类似 bender’s 方法。此时，上面两个模型称作固定反馈 (fixed recourse) 的两阶段随机规划模型。为随机变量的一个具体实现值，模型中的决策变量与随机变量都可以是向量形式。个实现值（realization），每个实现值对应的概率为。为第一阶段的决策变量，必须在不确定性发生之前作出决定，为第二阶段的决策变量，在不确定性发生之后作出决定。上面第二个模型中，可以看出。

幂函数1xα可以近似为指数函数eαx，甚至可以进一步近似为1αx。在一本书中指数平滑方法的介绍中见到了这个近似，总结一下。

Introduction to linear optimization》这本书很不错，但是课后题没答案，准备通过网络搜集以及自己的练习，整理一下。

为单变量函数时，单峰函数（只有一个局部极小值或局部极大值的函数）要么是拟凸函数，要么是拟凹函数，而多变量函数时则不一定。拟凸（quasi-convex）函数很早就听说过，但是标准定义一直不太了解，现在总结一下。几何意义是函数任意两点连线上的点，在该函数上的值小于这两点对应函数值的最大值。是拟凸函数：若对于其定义域内的任意两个点。上图就是一个拟凸函数。一个定义在凸集上的实数函数。

全期望值定理（law of total expectation）比较熟悉，竟然还有个全方差定理（law of total variance），关于条件期望与条件方差的，总结一下。

从 2019 年 4 月份买到这本书，到把这本书完全看一遍，都过了 3 年多了。准备顺着第一遍的笔记慢慢看第二遍，再做做课后题。

偶尔碰到一个线性化的问题：一个变量在一个区域内为一个值，在其他区域内为另一个值，即。引入一个 0-1 变量。

小红书看到一个数列公式的递推证明，很有趣。(n−k)!(−1)r​=1。

在高级的理论教材中，经常能见到针对一组变量的求导，往往涉及到矩阵。并不能快速手动推导，需要熟悉记住一些结论，于是决定写篇博客总计一下。这些性质都很容易通过对矩阵展开运算验证。对于 m×1m\times 1m×1 列向量 y\mathbf{y}y， m×nm\times nm×n 矩阵 A\mathbf{A}A， n×1n\times 1n×1 列向量 xxx，若它们的关系如下：y=Ax\mathbf{y=Ax}y=Ax则∂y∂x=A\frac{\partial \mathbf{y}}{\parti

凸分析中经常见到这些概念，目前这方面的中文资料似乎不太多，决定写篇博客总结一下。凸包在文献中比较常见些，也称作凸包络面 convex envelope。凸包一般针对某个集合（函数也可以有凸包，但我看到一些文献将函数的凸包称作凸包络面 convex envelope）。凸包的定义为：对于某个有限集合 {v1,v2,…,vn}\{v_1, v_2, \dots, v_n\}{v1​,v2​,…,vn​}，它的凸包为conv{v1,v2,…,vn}={θ1v1+θ2v2+⋯+θnvn∣θi≥0,∑nθi=1,∀i

对于组合数，一些英文资料里也称为二项系数（二项分布的系数），有一个递推公式。这个非常容易证明，将表达式展开为阶乘计算即可。最近听到一位教授提起，发下自己忘了，于是写篇博客记录下。

最近又无意中遇到了一个整数划分问题，将一个整数划分为几个数的和，考虑顺序。网上搜到一些方案是 python 的，没有给出考虑顺序的结果，自己适当修改了下，用 java 实现了。

在证明 base stock 策略时用到了这个性质，设有一个关于 $x$ 的凸函数 $f(x)$，另有一个随机变量 $\xi$，该随机变量的概率密度函数为 $\phi(\xi)$。则 $f(x)$ 对这个随机变量一个非负函数的期望得到的另外一个函数，即 $g(x)=\int f(x-\xi)\phi(\xi)d\xi$，也为凸函数。

拓扑可以理解为一个给定集合内元素所组成的，另外一个满足上面三个条件的集合。拓扑空间有时候也直接称为拓扑，一个集合。，下面的六个新集合中，最后两个并不属于。下面，用维基百科的一个图形例子来说明。

负二项分布与二项分布不一样，它表示在一些列伯努利试验中，成功概率为 $p$，成功次数为 $r$ 之前的失败次数的概率分布

最近旁听一个金融分析的课程，遇到了 CVAR，是一个条件期望。发现条件期望基本忘记了，于是复习一下。两个随机变量 XXX 与 YYY，1. 若 XXX 与 YYY 都是离散变量XXX 在 Y=yY=yY=y 时期望为： E(X∣Y=y)=∑x∈χxP(X∣Y=y)=∑x∈χxP(X=x,Y=y)P(Y=y)E(X∣Y=y)=∑x∈χxP(X∣Y=y)=∑x∈χxP(X=x,Y=y......

随机规划理论、随机过程中经常见到概率空间的使用，总结一下。

二项分布可以在一定条件下近似为泊松分布、正态分布。

在鲁棒优化中见到一个名词：Wasserstein distance, 又称作 earth mover's distance，堆土距离。用来测量两个随机分布的距离。之所以叫堆土距离，是因为它的物理含义是：将一个随机分布的直方图，变化成另一个随机分布的直方图，直方图变动的最小距离和。直方图中的每个小柱子可以视作一个土堆。...

将 benders 分解与 SAA 方法结合在一起，就产生了随机对偶动态规划方法。这两年在论文里看到了这个方法，一般用在运输或能源规划问题中，在库存管理问题中还没见别人用过。

这段时间发现一本不错的随机规划教材：《Handbooks in Operations Research and Management Science: Stochastic Programming》。这本书比之前看的一些教材更通俗易懂一些。总结一下这几天看到的知识点。1. 两阶段规划two-stage model 中，xxx 为第一阶段的决策变量，必须在不确定性发生之前作出决定，yyy 为第二阶段的决策变量，在不确定性发生之后作出决定。ξ\xiξ 为随机变量，而 www 为随机变量的一个具体表现值。