vast_w

从别人那里转载过了的，分析特征值和特征向量的作用，看完文章之后，我恍然大悟，佩服作者的文笔与深度。原作者的链接为：http://www.douban.com/note/129544864/[1. 特征的数学意义] 我们先考察一种线性变化，例如x,y坐标系的椭圆方程可以写为x^2/a^2+y^2/b^2=1，那么坐标系关于原点做旋转以后，椭圆方程就

在分类聚类算法中，时常需要计算两个变量（通常是向量的形式）的距离，即相似性度量。其中，距离度量的性质：非负性，自反性，对称性和三角不等式。　　本文的目的就是对常用的相似性度量作一个总结。本文目录：1.欧氏距离2.曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5.标准化欧氏距离6.马氏距离7.余弦相似度

资源分享Advice on Research and Writing, by Mark LeoneCrafting Your Research Future: A Guide to Successful Master's and Ph.D. Degrees in Science & Engineering, by Charles X. Ling and Qiang YangAn eva

矩阵的二次型、行列式、特征值、迹和秩一个m×nm\times n维矩阵是一种含有m×nm\times n个元素的多变量表示。在数学中，经常希望使用一个数或标量来概括多变量表示。其中，矩阵的性能指标就是这类典型的例子。本节将介绍概括矩阵性质的几个重要的标量指标，它们分别是：矩阵的二次型：刻画矩阵的正定性行列式：主要刻画矩阵的奇异性特征值：既刻画原矩阵的奇异性，又反映原矩阵所有对角元素的结构，还刻

距离:1.      明可夫斯基距离(Minkowski Distance)公式:其中p是一个变量,下面的所有距离都是这个公式的特例;p=1就是曼哈顿距离, P=2就是欧式距离,P=无穷时,就是切比雪夫距离. 2.      欧几里得距离(Euclidean Distance)最常见的欧式距离就是平面上两点间的距离D=sqrt(x^2+y^2);通用的公式为

目录(?)[-]信息度量互信息联合熵条件熵的相关定义KL距离互信息与KL距离皮尔森相关系数与KL距离实际运用信息度量信息论中，把信息大小解释为其不确定度。如果一个事件必然发生，那么他没有不确定度，也就不包含信息。即信息=不确定度。借用数学之美中的一个例子：马上要举行世界杯赛了。大家都很关心谁会是冠军。假如我错过了看世界杯，赛后我问一个知道比赛结果的观

References: 2004_Non-negative matrix factorization with sparseness constraints_JMLRL1、L2范式    假设需要求解的目标函数为：                    E(x) = f(x) + r(x)    其中f(x)为损失函数，用来评价模型训练损失，必须是任意的可微凸函数，

特别说明转自：http://blog.youkuaiyun.com/xianlingmao/article/details/7919597在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要

[转载] 矩阵的内涵理解矩阵（一）线性代数课程，无论你从行列式入手还是直接从矩阵入手，从一开始就充斥着莫名其妙。比如说，在全国一般工科院系教学中应用最广泛的同济线性代数教材（现在到了第四版），一上来就介绍逆序数这个“前无古人，后无来者”的古怪概念，然后用逆序数给出行列式的一个极不直观的定义，接着是一些简直犯傻的行列式性质和习题——把这行乘一个系数加到另一行上，再把那一列减过来，折腾

1. 矩阵的迹求导法则 2. 矩阵的Frobenius范数及其求偏导法则 3. 复杂矩阵问题求导方法

目录(?)[-]弗罗贝尼乌斯范数对 p  2这称为弗罗贝尼乌斯范数Frobenius norm或希尔伯特-施密特范数 HilbertSchmidt norm不过后面这个术语通常只用于希尔伯特空间这个范数可用不同的方式定义弗罗贝尼乌斯范数对 p = 2，这称为弗罗贝尼乌斯范数（Frobenius norm）或希尔伯特-施密特范数（ Hilbert–Schm

目录(?)[+]1、向量范数1-范数：，即向量元素绝对值之和，matlab调用函数norm(x, 1) 。2-范数：，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，matlab调用函数norm(x, 2)。∞-范数：，即所有向量元素绝对值中的最大值，matlab调用函数norm(x, inf)。-∞-范数

复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。 x is a column vector, A is a matrix$d(A*x)/dx=A$            $d(x^T*A)/dx^T=A$   $d(x^T*A)/dx=A^T$    $d(x^T*A*x)/dx=x^T(A^T+A)$

最优化方法（也称做运筹学方法）是近几十年形成的，它主要运用数学方法研究各种系统的优化途径及方案，为决策者提供科学决策的依据。最优化方法的主要研究对象是各种有组织系统的管理问题及其生产经营活动。最优化方法的目的在于针对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提高系统的效能及效益，最终达到系统的最优目标。实践表明，随着科学技术的日益进步和生产经营的日益发展，最优化方法已成为现代

Contents [hide]1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logistic 回归的关系6 Softmax 回归 vs. k 个二元分类器7 中英文对照8 中文译者简介在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 

【转载】http://zero2one.farbox.com/post/ren-zhi-liu-xing-yu-xu-shi-shi-jie从第一代单层神经网络被称为“感知机“开始，人工智能学者不断地追求强有力的方法来感知、认知这个复杂的世界。（由于语义在各种语境下的混淆，这里我们不讨论认知（Congnition）与感知(Perception)的差异）。统计机器学习方法从线性方法，