qq_34430163的博客

带约束最优化1.等式约束2.不等式约束3.优化的对偶理论3.1原始问题3.2对偶问题1.等式约束  经典拉格朗日乘子法是下面的优化问题（注：x\boldsymbol{x}x是一个向量）min⁡xf(x)\min _{x} f(x)xmin​f(x)s.t.g(x)=0\text {s.t.} \quad g(x)=0s.t.g(x)=0直观上理解。最优解xoptimal\boldsymbol{x}_{optimal}xoptimal​一定有这样的性质，以x\boldsymbol{x}x是二维变量为例

无约束最优化1.梯度下降法2.随机梯度下降法2.1批量梯度下降法（Batch Gradient Descent）2.2 随机梯度下降法（Stochastic Gradient Descent）2.3小批量梯度下降法（Mini-batch Gradient Descent）3.牛顿法4.牛顿法的收敛速度参考  无约束最优化问题是机器学习中最普遍、最简单的优化问题。x∗=min⁡xf(x),x∈Rnx^*=\min _xf\left( x \right) ,x\in R^nx∗=xmin​f(x),x∈R

1.矩估计  设XXX维连续型随机变量，其概率密度为f(x,θ1,θ2,⋯θk)f(x,\theta_1,\theta_2,\cdots\theta_k)f(x,θ1​,θ2​,⋯θk​)，或XXX为离散型随机变量，其分布律为P{X=x}=p(x;θ1,θ2,⋯ ,θk)P\left\{X=x\right\}=p(x;\theta_1,\theta_2,\cdots,\theta_k)P{X=x...

随机变量的数字特征1.数学期望1.定义离散型：P{X=xi}=pi,E(X)=∑ixipiP\left\{ X = x_{i} \right\} = p_{i},E(X) = \sum_{i}^{}{x_{i}p_{i}}P{X=xi​}=pi​,E(X)=∑i​xi​pi​；连续型： X∼f(x),E(X)=∫−∞+∞xf(x)dxX\sim f(x),E(X) = \int_{- \i...

随机变量与多维随机变量1.随机变量及其概率分布1.随机变量及概率分布2.分布函数的概念与性质3.离散型随机变量的概率分布4.连续型随机变量的概率密度5.常见分布6.随机变量函数的概率分布7.重要公式与结论2.多维随机变量及其分布1.二维随机变量及其联合分布2.二维离散型随机变量的分布3. 二维连续性随机变量的密度4.常见二维随机变量的联合分布5.随机变量的独立性和相关性6.两个随机变量简单函数的概...

概率基础：随机事件和概率1.概率基本概念1.随机试验、样本空间、随机事件2.概率2.事件的关系与运算1.事件关系2.运算律3.完全事件组3.概率的基本公式1.条件概率2.全概率公式3.Bayes 公式4.乘法公式4.独立性1.事件的独立性2.独立重复试验3.重要公式与结论1.概率基本概念1.随机试验、样本空间、随机事件随机试验：扔硬币、掷骰子试验描述E1E1E1抛掷一...

多元函数微分1.偏导数1.定义2.二阶偏导数2.多元复合函数求导法则1.一元函数和多元函数复合的情形2.多元函数和多元函数复合的情形3.方向导数与梯度1.方向导数的定义2.梯度的定义3.梯度的几何意义4.多元函数泰勒公式1.二元函数的泰勒展式2.黑塞矩阵（海森矩阵）5.多元函数的极值1.定理1（必要条件）2.定理2（充分条件）3.条件极值6.矩阵的求导7.参考1.偏导数1.定义函数z=f(x...

1.不定积分1.定义定义1 如果在区间III上，可导函数F(x)F(x)F(x)的导函数为f(x)f(x)f(x)，即对任一x∈Ix\in Ix∈I都有F′(x)=f(x)或dF(x)=f(x)dxF'\left( x \right) =f\left( x \right) \text{或}dF\left( x \right) =f\left( x \right) dxF′(x)=f(x)...

1.导数定义：导数和微分的概念f′(x0)=lim⁡Δx→0 f(x0+Δx)−f(x0)Δxf'({{x}_{0}})=\underset{\Delta x\to 0}{\mathop{\lim }}\,\frac{f({{x}_{0}}+\Delta x)-f({{x}_{0}})}{\Delta x}f′(x0​)=Δx→0lim​Δxf(x0​+Δx)−f(x0​)​ （1）或者：...

这里写目录标题1.行列式2.矩阵3.向量4.线性方程组5.矩阵的特征值和特征向量6.二次型1.行列式1.行列式按行（列）展开定理(1) 设A=(aij)n×nA = ( a_{{ij}} )_{n \times n}A=(aij​)n×n​，则：ai1Aj1+ai2Aj2+⋯+ainAjn={∣A∣,i=j0,i≠ja_{i1}A_{j1} +a_{i2}A_{j2} + \cdots + ...

记U=(u1,⋯ ,ur,ur+1,⋯ ,um)\boldsymbol U=\left(u_1,\cdots,u_r,u_{r+1},\cdots,u_m\right)U=(u1​,⋯,ur​,ur+1​,⋯,um​)，V=(v1,⋯ ,vr,vr+1,⋯ ,vn)\boldsymbol V=\left(v_1,\cdots,v_r,v_{r+1},\cdots,v_n\right)V=(v1​,...

1.矩阵的奇异值分解（SVD分解）为了论述矩阵的奇异值与奇异值分解，需要下面的结论：（1）设A∈Crm×n(r>0)A\in C_r^{m\times n}(r>0)A∈Crm×n​(r>0)，则AHAA^HAAHA是Hermite矩阵，（如果矩阵AAA不包含复数，那么AH=ATA^H=A^TAH=AT）且其特征值均是非负实数；（2）rank(AHA)=rank(A)ran...

1.二次型矩阵  含有nnn个变量x1,x2,⋯ ,xnx_1,x_2,\cdots,x_nx1​,x2​,⋯,xn​的二次齐次函数            f(x1,x2,⋯ ,xn)=a11x12+a22x22+⋯+annxn2  \;\;\;\;\;\;{f\left(x_1,x_2,\cdots,x_n\right)=a_{11}x_1^2+a_{22}x_2^2+\cdots+a_{n...

这里写自定义目录标题1.向量1.简介1.笛卡尔坐标系2.向量3.标量2.向量基本运算1.向量加法2. 向量数乘3. 向量内积4.向量投影3.范数1.L-P Norm2.L-0 Norm3.L-1 Norm4.L-2 Norm5.L-infinity Norm2.特征值、特征向量、矩阵相似1.特征值与特征向量2.矩阵相似3.定理4.矩阵相似对角化5.总结参考1.向量1.简介1.笛卡尔坐标系 ...

矩阵的秩1.矩阵的秩1.概念2.理解3.公式2.线性方程组1.非齐次线性方程组2.齐次线性方程组3.增广矩阵4.系数矩阵5.矩阵表示6.线性方程组的初等变换7.基础解系8.定理3.作业1.矩阵的秩1.概念  在m×nm\times nm×n的矩阵AAA中，任取kkk行kkk列(k⩽m,k⩽nk\leqslant m,k\leqslant nk⩽m,k⩽n)，位于这些行与列的交叉点上的k2k^...

矩阵的初等变换1.矩阵的初等变换与初等矩阵1. 初等变换1.定义3.定理2.初等矩阵3.行阶梯矩阵4.行最简矩阵5.正交矩阵6.对称矩阵7.反对称矩阵2.逆矩阵的求法1.定义法2.初等行变换3.伴随矩阵1.矩阵的初等变换与初等矩阵1. 初等变换1.定义对于m×nm\times nm×n矩阵，下列三种变换（1）用非零常数kkk乘以矩阵的某一行（列）；（2）互换矩阵某两行（列）的位置；（...

矩阵的逆1.伴随矩阵1.定义2.二阶矩阵的逆矩阵3.公式2.逆矩阵1.定义2.定理3.公式3.1.伴随矩阵1.定义设A=[aij]A=\lbrack a_{ij}\rbrackA=[aij​]是nnn阶矩阵，行列式∣A∣\left|A\right|∣A∣的每个元素aija_{ij}aij​的代数余子式AijA_{ij}Aij​所构成的如下的矩阵A∗=[A11A21⋯An1A12A22⋯An...

矩阵的行列式1.行列式的引入2.行列式3.余子式与代数余子式3.重要定理4.主要公式5.方阵的行列式6.克莱姆法则7.作业1.行列式的引入用消元法解二元线性方程组{a11x1+a12x2=b1,a21x1+a22x2=b2.\left\{\begin{array}{l}a_{11}x_1+a_{12}x_2=b_1,\\a_{21}x_1+a_{22}x_2=b_{2.}\end{array...

矩阵及其运算合集1.矩阵的基本概念以及意义矩阵定义零矩阵单位矩阵对角矩阵两个矩阵相等行向量列向量2.矩阵的基本运算加法(减法)数乘乘法3.矩阵的迹4.矩阵的转置5.对称矩阵1.矩阵的基本概念以及意义矩阵定义  m×nm\times nm×n个数排成如下m  m\;m行n  n\;n列的一个表格A=(a11a12⋯a1na21a22⋯a2n⋮⋮⋱⋮am1am2⋯amn)\boldsymbo...