xu_aml的博客

Copula,最小二乘法及lasso回归, 岭回归Copula函数Sklar定理(1959)多元正态Copula函数多元t−Copulat-Copulat−Copula函数阿基米德Copula函数收缩方法(shrinkage method)最小二乘法岭回归lasso回归图Lasso方法的罚图模型之前讨论班准备的笔记，截取部分保存起来。Copula函数当边缘分布（marginal probability distribution）不同的随机变量（random variable），互相之间并不独立的时候，

Hamiltonian Monte Carlo抽样算法的初步理解接受拒绝采样算法MCMC回顾Hamiltonian dynamics拉格朗日方程从牛顿方程出发推导拉格朗日方程哈密顿方程哈密顿函数HMCHamiltonian dynamics的直观认识:哈密顿方程运动方程哈密顿动力学的性质可逆性Hamiltonian不变保持体积Symplecticness(辛)局部和总体误差MCMC from Hamiltonian dynamicsProbability and the Hamiltonian — cano

EM算法及其应用目录：一、极大似然估计二、混合高斯模型及其求解困境三、EM算法四、EM算法应用于高斯混合模型一、极大似然估计考虑一个高斯分布 p(x∣θ)p(\boldsymbol{x}|\theta)p(x∣θ), 其中θ=(μ,Σ)\theta=(\mu,\Sigma)θ=(μ,Σ). 样本集X={x1,...,xN}X=\{x_1,...,x_N\}X={x1​,...,xN​}中每个...

信息论基础——熵一 、Jensen不等式定理1 设fff 为区间III 上的凹函数，pi∈[0,1],i=1,2,⋯ ,np_{i} \in[0,1], i=1,2,\cdots,npi​∈[0,1],i=1,2,⋯,n,且∑i=1npi=1\sum_{i=1}^{n} p_{i}=1∑i=1n​pi​=1，则对任何xi∈Ix_{i} \in Ixi​∈I，有f...

拉格朗日对偶性参考：《统计学习方法》李航约束优化问题中，常常利用拉格朗日对偶性将原始问题转换为对偶问题，通过解对对偶问题而得到原始问题。该方法应用在许多统计学习方法中，例如最大熵模型和支持向量机。1、原始问题假设f(x),ci(x),hj(x)f(x), c_{i}(x),h_{j}(x)f(x),ci​(x),hj​(x)是定义在R...

约束优化方法无约束优化等式约束的最优性条件不等式约束问题的最优性条件一般约束问题的最优性条件无约束优化 x∈RNx \in \mathbb{R}^{N}x∈RNmin⁡xf(x)\min _{x} f(x)xmin​f(x) 有函数解析式时，由Fermat定理，对函数求导令其导数为零,即 ∇xf(x)=0\nabla_{x} f(x)=0∇x​f(x)=0无函数解析式时，可以...

牛顿法和拟牛顿法跟最速下降法一样, 牛顿法也是求解无约束优化问题最早使用的经典算法之一. 其基本思想是用迭代点xkx_kxk​处的一阶导数 (梯度) 和二阶导数 (Hesse阵) 对目标函数进行二次函数近似, 然后把二次模型的极小点作为新的迭代点, 并不断重复这一过程, 直至求得满足精度的近似极小点无约束最优化问题min⁡x∈Rnf(x)\min _{x \in \mathbf{R}^{n}...

一、方向导数与梯度的概念方向导数是一个值而梯度是一个向量1、方向导数对于多元函数，如果说偏导数表示的是多元函数在沿坐标轴的变化率，那么可以说方向导数是沿着任意一指定方向的变化率，不一定是沿着坐标轴。方向导数的数学表达式：∂f∂l∣(x0,y0)=lim⁡t→0+f(x0+tcos⁡α,y0+tcos⁡β)−f(x0,y0)t\left.\frac{\partial f}{\partial...

线性规划非线性规划线性规划MATLAB\text {MATLAB}MATLAB线性规划的标准形式：min⁡xc⊤x s. t. Ax⩽b\min _{x} \boldsymbol{c}^{\top} \boldsymbol{x} \quad \text { s. t. } \quad \boldsymbol{A} \boldsymbol{x} \leqsl...