数学算法
关注
分享
扫一扫
Innerpeace_yu
Stay Hungry ! Stay Foolish ! Love Life , Love Myself !
展开
-
阶跃函数和冲击函数相关性质及傅立叶变换求取方法
阶跃函数和冲击函数是常用的广义函数，在微积分学及其电路上面有广泛的应用，之前在数学物理方程中有涉及，最近推倒公式里面全是这个东西，还是需要把他的性质做一下回忆。下面是我对网上找的部分资料的总结阶跃函数的傅立叶变换参考文献：https://blog.youkuaiyun.com/njucp/articl...原创 2019-11-12 15:40:46 · 12920 阅读 · 2 评论 -
从理论角度理解L1、L2正则化
原创 2019-11-01 12:06:06 · 253 阅读 · 0 评论 -
常用图像处理软件
1、 最著名的开源图像软件：GIMP。 开发语言：C GIMP号称Linux下的PhotoShop，总观其工程，确实达到了PhotoShop早期版本的功能。三大利器:选区、图层、蒙板一应俱全，滤镜也非常丰富，支持插件。缺点就是界面不美观，用户体验差，执行速度在Windows下慢(Linux下不清楚)。 官方网址为：http://www.gimp.org/...原创 2019-10-30 12:08:28 · 4530 阅读 · 2 评论 -
L0、L1、L2范数在机器学习中的应用
参考文献https://zhuanlan.zhihu.com/p/51479277原创 2019-10-23 19:39:53 · 269 阅读 · 1 评论 -
格林公式、高斯公式及斯托克斯公式的理解及相互关系
最近要推倒波动方程积分解，要对散度、旋度以及他们之间的相互关系有一个理解。看了两天，自己认为理解的差不多了，现在写在这个地方，作为笔记，以后忘记了拿过来看一下，加深一下印象。前面已经在从知乎几个大神那里转载了一些比较通俗易懂的三个公式的推导，现在着重讲一下本人所理解的几个公式之间的相互关系及物理意义。格林公式其实表达的是能量守恒的关系，比较详细的解释可以参照知乎的这篇文章（https...原创 2018-11-28 17:59:20 · 168688 阅读 · 17 评论 -
希尔伯特变换
最近看到一个比较好的希尔伯特变换的推导，注名如下1.傅里叶变换1.1傅里叶变换对周期信号进行傅里叶变换（包括正弦周期和非正弦周期信号，正弦周期实际上利用正交性可以知道，除了对应的频率，其他谐波的积分都是0），可以将信号分解为一个无穷级数的和：其中T为原周期信号的频率，因此，整个傅里叶变换将原信号分解为包括原周期在内的无数个谐波分量的三角集数和。对于非周期信号，实际上，...转载 2019-03-15 09:23:04 · 24787 阅读 · 5 评论 -
坐标变换
同一坐标系下的点旋转变换（如图1所示）和不同坐标系之间的旋转变换（如图2所示），一直困扰着我，它们是两个不同的概念，但形式上有很相似，以二维空间为例做了下推导，加深理解。同一坐标系下的点旋转变换，比较好理解，是在相同的坐标系下做的旋转变换。如图3所示，已知逆时针的旋转角度为θ，我们引入中间变量向量的长度r和水平夹角α，显而易见地，推导公式如下：x=rcos(θ+α)=rcos(θ)co...原创 2019-05-19 22:50:28 · 16879 阅读 · 0 评论 -
量纲分析方法
为了能够应用数学来描述物理对象，我们需要对其定量化。物理对象的定量化需要有单位和数 值，单位是作为度量标准的某个物理量。被测物理量的数值大小不仅取决于其本身，而且取决于所 选用的单位。例如为了描述一块地的范围，需要确定其面积的单位和数值的大小。我们可以说这是 块大小为 1 平方公里的地，也可以说这是块大小为 1000000 平方米的地。离开了单位，仅根据数值 我们无法判断一块地的大小。单位的选取往...原创 2019-05-31 10:22:59 · 23946 阅读 · 2 评论 -
最速下降法
最速下降法作为求解无约束最优化问题的入门算法，其思想是很多其他优化算法的基础。之前我一直对梯度下降法和最速下降法之间的关系和差异理解不清楚，只知道他们都是一阶方法，都沿负梯度方向迭代降低目标函数值，查了很多资料和网上的教程，发现讲得较为繁琐。经过系统学习和思考后我认为，最速下降法是梯度下降法的一种，该算法与一般梯度下降的区别在于，每次迭代过程中都要求目标函数值下降到搜索方向下的最小值。最速...转载 2019-09-08 21:42:00 · 16489 阅读 · 3 评论 -
散度和旋度的物理意义是什么？
高等数学学的时间有点久远了，最近需要推倒一些公式，以前高数学的时候这公式那定理的都没说什么物理意义，现在接触的问题都是具有一定物理意义的， 感觉对不上，回来找找资料好好理解一下，在知乎上看到一些比较通俗易懂的答案，所以摘抄到这里给大家分享一下。梯度的旋度问题梯度的旋度不为零得话。。我通俗地说一下矢量场那个吧。矢...转载 2018-11-23 17:49:12 · 60180 阅读 · 5 评论 -
Jacobian矩阵和Hessian矩阵
Jacobian矩阵和Hessian矩阵发表于 2012 年 8 月 8 日1. Jacobian在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10月4日－1851年转载 2017-03-06 10:16:47 · 300 阅读 · 0 评论 -
梯度、散度和旋度
梯度、散度和旋度 (2011-09-12 20:36:08)转载▼标签：旋度散度梯度矢量场拉普拉斯算子波动方程分类： 电子技术 梯度、散度和旋度是矢量分析里的重要概念。之所以是“分析”，因为三者是三种偏导数计算形式。这里假设读者已经了解了三者的定义。它们的符号分别记作如下：转载 2017-03-30 09:28:06 · 3917 阅读 · 0 评论 -
liblbfgs简介
liblbfgs简介liblbfgs是L-BFGS算法的C语言实现，用于求解非线性优化问题。liblbfgs的主页：http://www.chokkan.org/software/liblbfgs/下载链接（见上面的主页链接）：https://github.com/downloads/chokkan/liblbfgs/liblbfgs-1.10.tar.gz转载 2017-07-07 16:02:43 · 1384 阅读 · 3 评论 -
ubuntu安裝opencv3.4.1
最近opencv3.4.1发布了，想换个新的试试鲜，于是把配置的过程通过博文的方式记录下来，方便查阅。 本教程原为3.3.0，但经过博主亲测，3.4.0、3.4.1皆适用1.去官网下载opencv，在本教程中选用的时opencv3.4.1，其他版本的配置方法异曲同工。 下载链接http://opencv.org/releases.html，选...转载 2018-04-07 15:31:19 · 2922 阅读 · 0 评论 -
高斯牛顿迭代法
本文将详解最小二乘法的非线性拟合，高斯牛顿迭代法。1.原理高斯—牛顿迭代法的基本思想是使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。①已知m个点：②函数原型：其中：（m>=n）③目的是找到最优解β，使得残差平方和最小：残差：...转载 2018-07-20 13:47:19 · 3796 阅读 · 0 评论 -
梯度下降法，牛顿法，高斯-牛顿迭代法，附代码实现
---------------------梯度下降法-------------------梯度的一般解释：f(x)在x0的梯度：就是f(x)变化最快的方向。梯度下降法是一个最优化算法，通常也称为最速下降法。假设f(x)是一座山，站在半山腰，往x方向走1米，高度上升0.4米，也就是说x方向上的偏导是 0.4；往y方向走1米，高度上升0.3米，也就是说y方向上的偏导是 0.3；这样梯度...转载 2018-07-20 13:52:11 · 4526 阅读 · 0 评论 -
Gauss-Newton算法学习
Gauss-Newton算法是解决非线性最优问题的常见算法之一，最近研读开源项目代码，又碰到了，索性深入看下。本次讲解内容如下： 基本数学名词识记 牛顿法推导、算法步骤、计算实例 高斯牛顿法推导(如何从牛顿法派生)、算法步骤、编程实例 高斯牛顿法优劣总结 一、基本概念定义1.非线性方程定义及最优化方法简述 指因变量与自变量之间的关系不是线性的关系，比如平方关系...转载 2018-07-20 13:54:31 · 713 阅读 · 0 评论 -
有关机器学习、最优化相关的网站
https://www.codelast.com/ 编码无悔原创 2018-07-20 14:01:15 · 235 阅读 · 0 评论 -
L-BFGS
L-BFGSL-BFGS算法比较适合在大规模的数值计算中，具备牛顿法收敛速度快的特点，但不需要牛顿法那样存储Hesse矩阵，因此节省了大量的空间以及计算资源。本文主要通过对于无约束最优化问题的一些常用算法总结，一步步的理解L-BFGS算法，本文按照最速下降法 - 牛顿法 - 共轭梯度法 - 拟牛顿法 - DFP矫正 - BFGS 矫正 - LBFGS算法这样一个顺序进行概述。（读了一些文章之后...转载 2018-07-26 20:30:03 · 3396 阅读 · 0 评论 -
无约束优化算法——牛顿法与拟牛顿法（DFP，BFGS，LBFGS）
简介：最近在看逻辑回归算法，在算法构建模型的过程中需要对参数进行求解，采用的方法有梯度下降法和无约束项优化算法。之前对无约束项优化算法并不是很了解，于是在学习逻辑回归之前，先对无约束项优化算法中经典的算法学习了一下。下面将无约束项优化算法的细节进行描述。为了尊重别人的劳动成果，本文的出处是：http://blog.youkuaiyun.com/itplus/article/details/21896453...转载 2018-07-26 20:32:36 · 1001 阅读 · 0 评论 -
数值优化：理解L-BFGS算法
译自《Numerical Optimization: Understanding L-BFGS》，本来只想作为学习CRF的补充材料，读完后发现收获很多，把许多以前零散的知识点都串起来了。对我而言，的确比零散地看论文要轻松得多。原文并没有太多关注实现，对实现感兴趣的话推荐原作者的golang实现。数值优化是许多机器学习算法的核心。一旦你确定用什么模型，并且准备好了数据集，剩下的工作就是训练了。估...转载 2018-07-27 14:49:43 · 8869 阅读 · 2 评论 -
到底什么是非线性优化？
你是否也对非线性优化这个领域望而却步？你是否也在思索非线性优化求解方法的根源？你是否也苦恼于非线性优化到底在研究什么？如果你的回答是肯定的，说明我们是一样的。那么，让我们从这里开始，一起尝试去移走上面的三座大山。-------------------------------------------分割线---------------------------------...转载 2018-07-27 16:08:16 · 22713 阅读 · 6 评论 -
无约束优化算法——牛顿法与拟牛顿法（DFP，BFGS，LBFGS）
简介：最近在看逻辑回归算法，在算法构建模型的过程中需要对参数进行求解，采用的方法有梯度下降法和无约束项优化算法。之前对无约束项优化算法并不是很了解，于是在学习逻辑回归之前，先对无约束项优化算法中经典的算法学习了一下。下面将无约束项优化算法的细节进行描述。为了尊重别人的劳动成果，本文的出处是：http://blog.youkuaiyun.com/itplus/article/details/21896453...转载 2018-07-27 16:30:37 · 417 阅读 · 0 评论 -
高斯牛顿迭代法
高斯牛顿迭代法标签： 机器学习高斯牛顿迭代法2016-06-07 17:09 618人阅读 评论(0) 收藏 举报 分类：机器学习（7） 转载：http://www.tqcto.com/article/code/302336.html#本文将详解最小二乘法的非线性拟合，高斯牛顿迭代法。1.原理高斯—转载 2016-12-10 10:07:53 · 986 阅读 · 0 评论