zywvvd的博客

SVM（Support Vector Machine，支持向量机）是一个线性分类器，是最经典的分类算法，其核心目标就是找到最大间隔超平面。本文记录SVM的推导过程。概述SVM就是一个分类器，只是相对于传统的线性分类器，它添加了一个支持向量的概念。考虑一个分类任务从图片上解释，对于一组数据，SVM在使用直线的同时要求数据点距离这条直线的最小距离最大，也就是说分类器和数据之间要有足够大的“间隔”。这样做的好处是很明显的，越大的“间隔”代表了更大的转圜空间，在得到新的数据之后更容易将其正.

在前文了解过拉格朗日乘数法后，进一步介绍拉格朗日对偶。背景信息在约束最优化问题中，常常利用拉格朗日对偶性（Lagrange duality）将原始问题转换为对偶问题，通过解对偶问题而得到原始问题的解。拉格朗日对偶是在拉格朗日乘数法基础之上，通过变换原始问题的求解形式得到的相对于原始优化问题的另一个优化问题原始优化问题假设f(x)f(x)f(x), ci(x)c_i(x)ci​(x), hj(x)h_j(x)hj​(x) 是定义在Rn\mathbf{R}^{n}Rn上的连续可微函数..

在数学最优问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。本文介绍拉格朗日乘数法（Lagrange multiplier）。概述我们擅长解决的是无约束极值求解问题，这类问题仅需对所有变量求偏导，使得所有偏导数为0，即可找到所有极值点和鞍点。我们解决带约束条件的问题时便会尝试将其转化为无约束优化问题.

在各种场景可能都会遇到需要求解多元二次函数极值的问题，本系列文章介绍相关的计算方法，核心内容为共轭梯度法。本文介绍问题定义。问题定义多元二次多项式，维度为nnn，那么可以用以下公式描述该函数：f(x1,x2,x3,...,xn)=a1,1x12+a1,2x1x2+a1,3x1x3+⋯+a1,nx1xn+a2,1x2x1+a2,2x22+a2,3x2x3+⋯+a2,nx2xn+⋯+an,nxn2+b1x1+b2x2+⋯+bnxn+cf({x_1},{x_2},{x_3},...,{x_n}).