- 博客(20)
- 收藏
- 关注
RSS订阅原创 凸优化：常见的优化问题，偏统计视角
本文系统介绍了凸优化问题及其主要类型。首先阐述了优化问题的一般描述，包括目标函数、可行集、最优解等基本概念。然后重点讨论了可微凸函数的一阶最优性准则，即局部最优解即为全局最优解的条件。文章详细分析了几类重要的凸优化问题：线性规划（如基追踪、Dantzig变量选择、Chebyshev不等式应用）、二次优化（包括最小二乘、LASSO、岭回归等）以及半定规划。每种优化问题都给出了数学描述、标准形式转换方法以及典型应用场景，如压缩感知中的稀疏解求解、概率分布下界估计等。这些内容为理解和解决实际工程中的优化问题提供了
2025-08-01 22:10:26
837
原创 凸优化：共轭函数
勒让德变换共轭函数Fenchel不等式设fRn→Rf:R^n\to RfRn→R，定义共轭f∗Rn→Rf∗Rn→Rf∗ysupx∈domfyTx−fxf∗yx∈domfsupyTx−fx))其可看作yyy的仿射函数取逐点上确界，因此不论原函数是否凸，共轭函数f∗f^*f∗一定为凸函数。当fff是凸函数，且可微，即勒让德变换。备注对于给定的一点yyy。
2025-07-30 21:52:40
1153
原创 凸优化：凸函数的一些常用性质
若存在m0m>0m0gxfx−m2∥x∥2gxfx−m/2∥x∥2是凸函数，称fxf(x)fx是强凸函数。换句话说，fff至少与二次函数一样凸，相当于限制了凸的速率。
2025-07-28 21:44:18
675
原创 凸优化：保凸函数运算
引言定义（非负加权和）凸函数fff的非负加权和也是凸函数，利用凸函数定义即可证明。f=w1f1+⋯+wmfm,wi≥0f=w_1f_1+\cdots+w_mf_m,\quad w_i\ge0f=w1f1+⋯+wmfm,wi≥0可拓展至无限项：若固定任意y∈Ay\in\mathcal{A}y∈A，f(x,y)f(x,y)f(x,y)是关于xxx的凸函数，且对任意y∈Ay\in\mathcal{A}y∈A,w(y)≥0w(y)\ge 0w(y)≥0，则：g(x)=∫Aw(y)f(x,y)dyg
2025-07-09 21:31:35
895
原创 凸优化：凸函数定义及其常见判定方式
若domfdomf是凸集，且fθx1−θy⩽θfx1−θfyfθx1−θy⩽θfx1−θfy对所有xy∈domf0⩽θ⩽1xy∈domf0⩽θ⩽1都成立，称fRn→RfRn→R是凸函数。若−f-f−f是凸函数，则称fff是凹函数。此外，当x≠y0θ1xy0θ1，上述不等式严格成立时，称fff为严凸函数。注记。
2025-06-28 19:26:28
1540
原创 凸优化：仿射集、凸集、凸锥
本文介绍了凸集及其相关概念，包括仿射集合、凸集和凸锥。主要内容分为四部分：1）直线和线段的定义与性质；2）仿射集的定义、仿射组合和仿射包；3）凸集的定义、凸组合和凸包，并给出多面体、Euclid球等典型实例；4）凸锥的定义、锥组合和锥包，以及半正定矩阵锥等例子。文章通过数学定义和几何实例系统阐述了这些概念之间的区别与联系，为理解优化问题中的凸性提供了理论基础。
2025-06-26 15:47:48
1033
原创 对偶和KKT条件
凸优化是机器学习，统计学，深度学习，经济学等学科中十分重要课程，对偶和KKT条件又是凸优化中的重点内容，在此介绍下凸优化理论中十分重要的对偶和KKT条件。对偶：将原问题转化为对偶问题，简化求解，提共高效率的算法，求最优值下界。KKT条件：最优解的必要条件(凸问题时，是充要条件)，结合梯度、互补松弛与可行性，确保全局最优。
2025-06-11 21:46:07
901
原创 Newton-Raphson迭代(R语言实现)
在统计中，对于未知参数的求解，常采用极大似然估计或者最小二乘估计等估计方法。这些估计方法不一定有解析解，此时就需要通过数值计算求解最大或最小值。(求解最大值与最小值等价，二者之间只差一个负号)最经典的数值计算求解函数最小值或最大值的方法即为下面要介绍的Newton-Raphson迭代法，其是Newton迭代法的改进版，收敛速度一般快于Newton迭代法其思路如下：1)自己给定初始值x02)找到hx在xx0的二阶泰勒展开，用其二阶泰勒展开近似原函数hxhx≈hx0。
2025-01-11 23:28:39
1131
原创 蒙特卡洛模拟(R语言实现)
蒙特卡洛方法通过模拟随机数广泛的用于数值计算。在具体介绍蒙特卡罗积分方法之前，先回顾大数定律让Xii1∞是一组独立同分布的随机变量且EXiμ∞，则随着n→∞，样本均值Xn有如下的性质:Xn→pμ即样本容量充分大，样本均值接近总体均值μ的概率非常大。EgX)]∫−∞∞gxfxdx根据大数定律，只要X1...Xn独立同分布且有密度函数fx，则随着n→∞n1i1∑n。
2025-01-11 23:16:06
2080
原创 重要性采样(Importance Sampling)（R语言实现）
由此我们引入重要性采样，希望能使得尾端的值能以更大的概率被采样得到，这时候就需要引入一个比原先f(x)更加厚尾的分布g(x)为咱们的建议分布，并且我们要明确知道如何从g(x)抽样。假设我们想计算一个随机变量X的函数h(X)对于密度为f(X)的分布的期望IEfhX∫hxfxdxIEfhX)]∫hxfxdxIEfhX≈IMC1M∑m1MhXmIEfhX)]≈IMCM1m1∑M。
2025-01-11 23:08:09
1120
原创 拒绝接受采样(R语言实现)
与其他采样最不同的点，拒绝接受采样无需利用积分计算的思想。比如有一个复杂分布f(x)，我们可以从好采样的分布中采样（比如均匀分布），然后依据一定的原则去拒绝或接受好采样的分布产生的一些样本值。使得接受的样本值可以合理的来自于分布f(x),其思想称之为拒绝接受采样。假定有一分布hx使得hx恒大于fx，如下图所示：随机取得点x1，再给定第二个维度，使得对于点x1的第二个维度为0到h（x1）的均匀分布如下：若点x1在第二个维度上低于f(x)(绿色)则接受该样本点，否则拒绝该样本点(红色)
2025-01-11 22:38:23
777
原创 R语言一元时间序列分析：ARIMA（自动定阶）
：包含了1898年到1958年间，每年尼罗河水位的数据集。（如长期趋势，季节趋势）在。R语言提供了自动拟合的。传统时间序列主要针对。深入挖掘剔除趋势性后。
2023-05-08 17:24:28
2386
1
原创 R语言一元时间序列建模：ARIMA模型（手动定阶）
从上图中我们可以看出acf截尾，pacf截尾，可以考虑先采用MA（1）模型进行建模。我们来看上述假设检验的结果，上述ADF检验方法的p-value>0.05，ARMA（p,q）:acf和pacf一般拖尾，可采用信息准则进行定阶段。，因为建模前我们已经对nile数据进行了一阶差分，所以在本实验中。”：包含了1898年到1958年间，每年尼罗河水位的数据集。AR（p）：acf 拖尾，pacf p阶截尾。MA（q）：acf q阶截尾，pacf 拖尾。即使我们从上图中看出尼罗河水位非平稳，我们。
2023-05-08 17:21:19
5540
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人