机器学习的小学生

4.2 近端梯度法 Proximal gradient method 无约束的优化问题，代价函数可以分成两个部分: minf(x)=g(x)+h(x)min f(x)=g(x)+h(x) 其中gg是凸的，可微的，并且domg=Rn\mathbf {dom} _g =\mathbf {R}^n,ff是闭的，凸的，可能不可微，proxh\mathbf {prox}_h容易计算。近端梯度算法：

http://www.mat.univie.ac.at/~neum/glopt.html

%% plot smoothed function and its original functiontimes = 2;mu = 0.5; %精度控制参数：accuracy control parameterstep = 0.05; % 粒度% first part[X,Y] = meshgrid(-mu:step:mu);X1 =reshape(X,[numel(X) 1]);Y1 =

Nonsmooth black-box optimizationProximal gradient algorithmSmoothing algorithmsOptimal complexity algorithms

文章给出了求解： 1.投影到单纯形 2.投影到l1l_1ball的算法。 下图只给出了复杂度为O(nlogn)O(n\text{log}n)的算法,关于算法复杂度为O(n)O(n)的算法，请参考文章后面的详细内容。% 测试clearvars;clc;z=1;%v=[4 4]';v=[-0.5 1]';w=proj2_L1ball0(v,z);%真实的结果应该为：% y=x; 与x

%%% 最简单的函数梯度的检测 %%%%% f(x) = 2*(x-1)^2;x0 = 10;grad = 4*(x0-1);epi = 1e-5;f1 = 2*(x0+epi-1)^2;f2 = 2*(x0-epi-1)^2;prox_grad = (f1-f2)/(2*epi);err = abs(grad-prox_grad)/max(abs(grad),abs(prox_g

计算梯度的三种方法： 数值法，解析法，反向传播法

各种优化请参考：http://www.mat.univie.ac.at/~neum/glopt.html1.linear svm这个工具包目前用的比较多。例如面部特征点的回归方法中，学习线性回归的权重，例如:Face Alignment at 3000 FPS中： minWt∑i=1N||△s^ti−WtΦt(Ii,St−1i)||22+λ||Wt||22\min_{W^t} \sum_{i=1}

摘自：https://www.cs.ubc.ca/~schmidtm/Software/minFunc/examples.html

求解下面的带有等式约束和简单的边框约束的优化问题：minx,y(x−1)2+(y−2)2s.t.0≤x≤3,1≤y≤4,2x+3y=5\begin{equation}\begin{aligned}\min_{x,y} (x-1)^2+(y-2)^2 \\s.t. 0\leq x \leq 3,\\1 \leq y \leq 4, \\2x+3y=5\end{aligned}\end{e

EE364bEE227BT （test） EE236CCSC 576:大数据分析的现代计算方法. 涉及的内容： 1. 大规模线性系统的计算方法. computational methods for large scale linear system 2. 矩阵/张量分解/完备/恢复(推荐系统，图像/视频绘画，视频监控) 3. 一阶优化方法： 无约束的优化方法（梯度放，最优的1阶梯度方法，随

机器学习：1.Gaussian Processes for Machine Learning网址：http://www.gaussianprocess.org/gpml/ 带有code, 即: gpml toolbox2.Bayesian Reasoning and Machine Learning. David Barber网址：http://web4.cs.ucl.ac.uk/staff/D.

星型结构的动态规划 树型结构的动态规划 其中,S0,S1,S2,S3,S4S0,S1,S2,S3,S4分别是cen,lel,rer,ml,mrcen, lel,rer,ml,mr,（即中心，左眼眼角，右眼眼角和嘴左角，嘴右脚）是搜索空间。 红色的点和蓝色的点之间的连线称之为：springspring，其外围的虚线边框是该特征点对应的patchpatch.动态规划问题： 注：下面S0−S

问题1：求解l1,∞l_{1,\infty}范数子问题。即求解在文献2中，有公式(10): minw12||w−v||22+λ^||w||∞问题1\min_{\mathbf w} \frac{1}{2} ||\mathbf w- \mathbf v||_2^2 +\hat{\lambda}||\mathbf w||_{\infty} \qquad 问题1因为二次函数的共轭是仍然是二次函数，l∞l_

参考文献： 1. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers [Stephen Boyd 2011] 2.CSC 576: Alternating Direction Method for Multipliers (ADMM) [J

合页损失： lh(z,W)=max(0,1−ywTk⋅x)l_h(z,W)=\max(0,1-y\mathbf w_k^T\cdot \mathbf x) 其中z=(x,y,k)z=(\mathbf x,y,k),WW是多任务学习的权重,kk表示样本(x,y)(\mathbf x ,y)所对应的任务。 对于二维的情况，我们很容易画出其函数。而且max\max函数是分段平滑函数构成，因此我们

参考文献：Stochastic Gradient Descent for Non-smooth Optimization: Convergence Results and Optimal Averaging Schemes文章分析了：Individual SGD Iterates的收敛性。Averaging Schemes的收敛性。定义： λ−stronglyconvex\lambda -

2.3 Fixed points近端操作： proxf(v)=argminx(f(x)+(1/2)||x−v||22)(1.1)\mathbf {prox}_f (v)=arg \min_x \big ( f(x) +(1/2) ||x-v||_2^2 \big ) \qquad (1.1) 当前仅当： x∗=proxf(x∗)x^*=\mathbf {\color{red}{prox}}_f

Proximal Algorithms:近端算法 proximal operator:近端操作 这里将Proximal Algorithms翻译成近端算法，而不是近似算法。主要是因为，近端操操作其行为上类似在将一个点投影到集合中与该点满足评价函数f(x)f(x)和距离最小的点，有最邻近的端点之意。近端操作又类似于离散下的广义距离变换。1.1定义 令f:Rn→R∪{+∞}f: \mathbf R

4.1 近端最小化 Proximal minization 近端最小化算法(proximal minization algorithm)，也称为近端迭代(proximal iteration)或者近端点算法(proximal point algorithm). xk+1:=proxλf(xk)x^{k+1}:=\mathbf {prox}_{\lambda f}(x^k) 其中f:Rn→

3.1 Moreau-Yosia regulariztion莫罗-吉田正则化。

转载来自无色光的博客园：http://www.cnblogs.com/wuseguang/p/4088817.html牛顿法考虑如下无约束极小化问题： minxf(x)\min_{x} f(x) 其中x∈RNx\in R^N,并且假设f(x)f(x)为凸函数，二阶可微。当前点记为xkx_k,最优点记为x∗x^*。 梯度下降法用的是一阶偏导，牛顿法用二阶偏导。以标量为例，在当前点进行泰勒二阶展开

共轭函数共轭函数的定义：设函数f:Rn→Rf:R^n \rightarrow R，定义函数f∗:Rn→Rf^*:R^n \rightarrow R为： f∗(y)=supx∈domf(yTx−f(x))f^*(y)=\sup_{x \in \mathbf{dom}f}(y^Tx-f(x)) 此函数称为函数ff的共轭函数。即函数yxyx和函数f(x)f(x)之间差值的上确界。 如下图，两条虚线平

基本的优化问题： minimizesubject tof0(x)fi(x)≤0,i=1,...,mhi(x)=0,i=1,...,p\begin{equation}\begin{aligned}\text{minimize} \quad &f_0(x) \\\text{subject to} \quad& f_i(x) \leq 0, i=1,...,m\\&h_i(x)=0,i=1,

参数的更新有许多方法;1.Vanilla update 最简单的更新形式。假定xx是参数矢量，dxdx是梯度。更新形式为: # Vanilla update x+=-leaning_rate*dx其中learning_rate是学习率。2Mumenturn update 在深度网络中，通常能够得到更好的收敛速率。这种更新方法来源于优化问题的物理学上的观点。特别的，损失函数可以解释为山

Nesterov’s Accelerated Gradient Descent一般的梯度下降算法的收敛速率为 o(1/t)o(1/t),tt表示迭代的次数。但是人们已经证明了随着迭代次数tt的增加。收敛速率可以到达o(1/t2)o(1/t^2).1.简介: 加速梯度算法(AGD)是梯度算法(GD)的一个改进的版本。Nesterov 在1983年首次提出。人们已经证明AGD算法是所有基于梯度算法

% four methods:% gradient descend method% accelerated gradient method% linearSVM% libSVMclear;clc;close all;%% produce two class datamu = [

1.参考文献：CSC 576: Gradient Descent Algorithms

通常的情况是：你拥有某个模型参数θθ\theta。你试图优化某个客观标准，但是采用下面列的方式，优化问题不可行或者很难。如果你可以的话，那么你可以应用相应的转换到你的问题上。如果现在这个问题你可以有效的优化，那么很好。如果不能，你可以递归的应用这些转换直到它可以（优化）。对于Vol1,我们首先陈述下面的问题转换：变分边界（variational bound） 对抗博弈（Adversari...