h_l_dou的博客

矩阵:英文名Matrix。在数学名词中，矩阵用来表示统计数据等方面的各种有关联的数据。这个定义很好地解释了Matrix代码制造世界的数学逻辑基础。矩阵是数学中最重要的基本概念之一，是代数学的一个主要研究对象，也是数学研究及应用的一个重要工具。矩阵加法：（只有同型矩阵之间才可以进行加法）矩阵的加法满足下列运算律(A，B，C都是同型矩阵)：矩阵减法：（只有同型矩阵之间才可以进行减法）矩...

在线文件大小(bit,bytes,KB,MB,GB,TB)转换换算http://www.bejson.com/convert/filesize/

岭回归(Ridge Regression)及实现 https://blog.youkuaiyun.com/google19890102/article/details/27228279一、一般线性回归遇到的问题    在处理复杂的数据的回归问题时，普通的线性回归会遇到一些问题，主要表现在：在处理复杂的数据的回归问题时，普通的线性回归会遇到一些问题，主...

原文：https://m.imooc.com/article/details?article_id=43624 矩阵表示多元线性回归Y=BX+aQ(B)=(Y-BX)T(Y-BX)达到最小时的B值。也即是残差平方和最小时。B（Bi）的值。可以证明B的最小二乘估计=（XTX）-1XTy其中（XTX）-1为广义逆。如果X存在线性相关的话，XTX没有逆：1.出现多重共线性2.当n<p,变量比...

原文：https://www.wengbi.com/thread_80323_1.html闲话Variable Selection和Lasso最近在看变量选择（也叫subset selection），然后来总结一下，想到哪写到哪的随意风格（手动微笑）。[11,12,13]是主要参考的综述文章。Boosting 和 Stagewise Regression嗯，我也很惊讶为什么这个Las...

原文：https://blog.youkuaiyun.com/zouxy09/article/details/24971995 机器学习中的范数规则化之（一）L0、L1与L2范数zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09        今天我们聊聊机器学习中出现的非常频繁的问题：过拟合...

原文：https://blog.youkuaiyun.com/lqzdreamer/article/details/79676305矩阵L2,1范数及矩阵L2,p范数的求导常见的矩阵范数有L1，L2，∞∞范数，F范数和引申出的L2,1范数。而在机器学习的特征选择中，利用选择矩阵的范数对选择矩阵进行约束，即是正则化技术，是一种稀疏学习。L0L0向量范数L0L0 范数L0L0，也描述了向量的稀疏性。 ...

原文：https://blog.youkuaiyun.com/lqzdreamer/article/details/79678875 本文来自于论文Feiping Nie, Heng Huang, Xiao Cai, Chris H. Q. Ding. Efficient and Robust Feature Selection via Joint L2,1-Norms Minimization,NIPS...

原文：https://blog.youkuaiyun.com/zbgjhy88/article/details/80779212算法的时间复杂度如果某个算法的复杂度可以表示为O(nk)O(nk)，即问题规模n出现在底数的位置，这种复杂度称为多项式时间复杂度；如果某个算法的复杂度表示为O(kn)O(kn)，这种复杂度称为指数型时间复杂度。相同问题规模下，指数型时间复杂度远远大于多项式时间复杂度。当我们...

原文：https://blog.youkuaiyun.com/uncle_gy/article/details/78879131**注：**不要把它和几何运算或者是向量运算混淆前言：在数学中，矩阵微积分是进行多变量微积分的一种特殊符号，特别是在矩阵的空间上。 它将关于许多变量的单个函数的各种偏导数和/或关于单个变量的多变量函数的偏导数收集到可以被视为单个实体的向量和矩阵中。 这大大简化例如找到多元函数的...

原文：https://www.cnblogs.com/softlin/p/5815531.html相信学过数理统计的都学过线性回归（linear regression），本篇文章详细将讲解单变量线性回归并写出使用最小二乘法（least squares method）来求线性回归损失函数最优解的完整过程，首先推导出最小二乘法，后用最小二乘法对一个简单数据集进行线性回归拟合；线性回归　　线性回归...

Transposed Convolution, Fractionally Strided Convolution or Deconvolution原文：https://buptldy.github.io/2016/10/29/2016-10-29-deconv/反卷积（Deconvolution）的概念第一次出现是Zeiler在2010年发表的论文Deconvolutional network...

原文：https://blog.youkuaiyun.com/herano/article/details/71213373-1、为什么学 FFT退役（很早）之前听说 FFT 很神（e）奇（xin），Po姐来讲的时候也是膜（sha）了（ye）一（bu）发（dong），于是就放那里了。退役之后有（xian）了（de）时（mei）间（shi），并且在篮球赛之前立了赢一场的 flag 否则学FFT结果又双叒叕全...

原文：https://blog.youkuaiyun.com/txwh0820/article/details/46392293矩阵的迹求导法则

0范数，向量中非零元素的个数。1范数，为绝对值之和。2范数，就是通常意义上的模。无穷范数，就是取向量的最大值。具体怎么用，看不同的领域，看你来自计算机领域 用的比较多的就是迭代过程中收敛性质的判断，如果理解上述的意义，在计算机领域，一般迭代前后步骤的差值的范数表示其大小，常用的是二范数，差值越小表示越逼近实际值，可以认为达到要求的精度，收敛。总的来说，范数的本质是距离，存在的意义是为...

以下根据https://www.jianshu.com/p/c7e642877b0e转载并编辑总结得到。梯度下降1.梯度下降的场景假设梯度下降的基本过程就和下山的场景很类似。首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点...

深度学习中梯度消失的理解

图像处理中的数学原理归类原文：https://blog.youkuaiyun.com/baimafujinji/article/details/48467225我的“图像处理中的数学原理”专栏中之系列文章已经以《图像处理中的数学修炼》为名结集出版（清华大学出版社）。该书详细介绍图像处理中的数学原理，为你打开一道通往图像世界的数学之门。以下是最新版本的该书的完整目录，方便各位网友查阅以及确定本书是否符合你的...

原文;https://blog.youkuaiyun.com/swj110119/article/details/51777422一、学习心得：学习图像处理的过程中，刚开始遇到图像梯度和一些算子的概念，这两者到底是什么关系，又有什么不同，一直困扰着我。后来在看到图像分割这一模块后才恍然大悟，其实图像的梯度可以用一阶导数和二阶偏导数来求解。但是图像以矩阵的形式存储的，不能像数学理论中对直线或者曲线求导一样，...

结论：L2范数归一化就是向量中每个元素除以向量的L2范数

矩阵特征值设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则称 m 是矩阵A的一个特征值（characteristic value)或本征值（eigenvalue)。矩阵特征值方法对于矩阵A，由AX=λ0X，λ0EX=AX，得[λ0E-A]X=θ即齐次线性方程组有非零解的充分必要条件是：即说明特征根是特征多项式|λ0...

原文：https://www.cnblogs.com/AndyJee/p/5048735.html 我们知道压缩感知主要有三个东西：信号的稀疏性，测量矩阵的设计，重建算法的设计。那么，在重建算法中，如何对问题建立数学模型并求解，这就涉及到了最优化或凸优化的相关知识。在压缩感知中，大部分情况下都转换为凸优化问题，并通过最优化方法来求解，因此了解相关知识就显得尤为重要了。主要内容：问...

1.前言第一次接触奇异值分解还是在本科期间，那个时候要用到点对点的刚体配准，这是查文献刚好找到了四元数理论用于配准方法（点对点配准可以利用四元数方法，如果点数不一致更建议应用ICP算法）。一直想找个时间把奇异值分解理清楚、弄明白，直到今天才系统地来进行总结。上一次学习过关于PCA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。特征值和奇异值在大部分...

软阈值(Soft Thresholding)函数解读函数的符号软阈值(Soft Thresholding)目前非常常见，文献【1】【2】最早提出了这个概念。软阈值公式的表达方式归纳起来常见的有三种，以下是各文献中的软阈值定义符号：文献【1】式(12)：文献【2】：文献【3】：文献【4】式(8)：文献【5】式(1.5)：文献【6】式(12)注释：文献【7】：&nbs...

原文：https://blog.youkuaiyun.com/m0_38034312/article/details/78597737【1】公式：【2】理解：公式中n为行数，t为列数。也就是当行n=1，对整个行向量求了l2范数。以l21范数的理解是行向量的l2范数之和【3】正则化项的作用：使每一行的l2范数尽可能小，行内出现尽可能多的0元素，尽可能稀疏，也称为行稀疏。【4】行稀疏、列稀疏统称结构化...