M_Z_G_Y的博客

在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候，只知道直接应用两个方法，但是却...

我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法...

在数据分析和数据挖掘以及搜索引擎中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。常见的比如数据分析中比如相关分析，数据挖掘中的分类聚类（K-Means等）算法，搜索引擎进行物品推荐时。相似度就是比较两个事物的相似性。一般通过计算事物的特征之间的距离，如果距离小，那么相似度大；如果距离大，那么相似度小。比如两种水果，将从颜色，大小，维生素含量等特征进行比较相似性。 1、...

方向导数的解释函数 z=f(x,y) 表示空间曲面 S，则点 P(x0, y0,z0) 在 S 上，过点 P 和 P0 的 u 方向的垂直平面交 S 于曲线 C，f 沿方向 u 的变化率是 C 在点 P 的切线的斜率，观察下面动画:方向导数和梯度的关系当 u 与 ▽f 同方向时, 函数 f 增加最快, 类似, 反方向减少最快.。而正交于梯度的方向 u 是 f 变化率为 0 ...

逆矩阵定义：A，B为n阶方阵，E为n阶单位矩阵，AB=BA=E，说明A是可逆的，其逆矩阵为B 求解：，其中为伴随矩阵，要求(A可逆的充要条件) 初等行变换：矩阵的秩定义：m×n的矩阵A，若A中至少有一个r阶子式不等于零，且在r<min(m,n)时，A中所有的r+1阶子式全为零，则A的秩为r 求解：行阶梯形矩阵（标准形）的行数逆和秩的关系A满秩（）方阵A可逆（A...

一、为什么要估计（estimate）在概率，统计学中，我们所要观测的数据往往是很大的，(比如统计全国身高情况）我们几乎不可能去统计如此之多的值。这时候，就需要用到估计了。我们先抽取样本，然后通过统计样本的情况，去估计总体。下面是数学中常用到的术语：总体（Populantion）。通常它均值（mean）用 μ 表示。方差用表示。 样本（Sample）。通常它的均值用表示，方差用...