
数学(概念与方法)
文章平均质量分 74
卡尔曼和玻尔兹曼谁曼
面朝大海,春暖花开
展开
-
高等数学公式积累
泰勒展开式: f(x)=f(a)0!+f′(a)1!(x−a)+f′′(a)1!(x−a)2+...+f(n)(a)1!(x−a)n+Rn(x)f(x)=\frac{f(a)}{0!}+\frac{f'(a)}{1!}(x-a)+\frac{f''(a)}{1!}(x-a)^2+{...}+\frac{f^{(n)}(a)}{1!}(x-a)^{n}+R_{n}(x)原创 2016-03-22 21:51:57 · 1464 阅读 · 0 评论 -
K-SVD字典学习及其实现(Python)
算法思想算法求解思路为交替迭代的进行稀疏编码和字典更新两个步骤. K-SVD在构建字典步骤中,K-SVD不仅仅将原子依次更新,对于原子对应的稀疏矩阵中行向量也依次进行了修正. 不像MOP,K-SVD不需要对矩阵求逆,而是利用SVD数学分析方法得到了一个新的原子和修正的系数向量.固定系数矩阵X和字典矩阵D,字典的第kk个原子为dkd_k,同时dkd_k对应的稀疏矩阵为XX中的第kk个行向量xkTx^k原创 2017-11-06 06:14:57 · 11934 阅读 · 37 评论 -
儒略日和常规日期的转换(Python版)
使用Python的datetime模块实现from datetime import datetimedef d_to_jd(time): fmt = '%Y.%m.%d' dt = datetime.strptime(time, fmt) tt = dt.timetuple() return tt.tm_year * 1000 + tt.tm_ydaydef jd原创 2017-11-21 06:27:44 · 12967 阅读 · 4 评论 -
交叉熵
上一篇译文《香农熵》中介绍了熵的由来及其计算公式的产生,这篇译文介绍另外一个与香农熵相关的概念:交叉熵(Cross-Entropy)注:可能文中对一些专有名词的翻译不够精确,所以有的名词后面注解了其对应的原始英文单词原文:A Friendly Introduction to Cross-Entropy Loss简介(Introduction)当我们要建立一个基于概率论的分类模型...翻译 2018-04-12 03:15:59 · 1605 阅读 · 0 评论 -
使用Python计算方差协方差相关系数
使用Python计算方差,协方差和相关系数文章目录使用Python计算方差,协方差和相关系数数学定义期望方差协方差相关系数协方差矩阵使用NumPy包计算数学定义期望设随机变量XXX只取有限个可能值ai(i=0,1,...,m)a_i (i=0, 1, ..., m)ai(i=0,1,...,m),其概率分布为P(X=ai)=piP (X = a_i) = p_iP(X=ai)=pi....原创 2018-12-18 02:01:16 · 29562 阅读 · 1 评论 -
假设检验和P值那些事
文章目录假设检验和P值那些事假设检验P值R中的实践参考文献假设检验和P值那些事记得大学时候学习概率论与数理统计的时候,学习过假设检验,但我不记得课本上有提到过P值。后来翻阅了一些资料,大概弄明白了它们之间的关系,本文旨在以浅显易懂的语言描述严密的数学知识。假设检验在《Head First Statistics》一书中,作者给假设检验的定义是“Hypothesis tests give yo...原创 2019-01-05 07:46:02 · 3099 阅读 · 3 评论 -
相关系数r和决定系数R2的那些事
文章目录相关系数$r$和决定系数$R^2$的那些事协方差与相关系数决定系数(R方)参考资料相关系数rrr和决定系数R2R^2R2的那些事有人说相关系数(correlation coefficient,rrr)和决定系数(coefficient of determination,R2R^2R2,读作R-Squared)都是评价两个变量相关性的指标,且相关系数的平方就是决定系数?这种说法对不对呢?...原创 2019-01-07 11:09:28 · 98428 阅读 · 20 评论 -
小波变换二之Haar变换
文章目录Haar变换原理说明实例演示MATLAB实现Haar变换这是小波变换的第二篇,我们继续谈Haar变换。在第一篇中,我们介绍了一位情况下的Haar变换,这篇博文中主要介绍二维Haar变换。最后,通过一个图像压缩的案例说明二维Haar变换的应用。原理说明给定一个二维信号,我们这里假设是一个4×44\times44×4的图片,f=[21567658215577210]f=\begin{...原创 2019-01-18 05:16:43 · 10333 阅读 · 5 评论 -
Python求解正态分布置信区间
文章目录Python求解正态分布置信区间正态分布和置信区间使用SciPy求解置信区间使用Matplotlib绘制正态分布密度曲线正态分布置信区间规律Python求解正态分布置信区间正态分布和置信区间正态分布(Normal Distribution)又叫高斯分布,是一种非常重要的概率分布。其概率密度函数的数学表达如下:f(x)=12πσe−(x−μ)22σ2f(x) = \frac{1}{\...原创 2019-01-23 23:31:07 · 18114 阅读 · 4 评论 -
变分法入门介绍
文章目录变分法入门介绍泛函和变分法变分法求泛函极值变分的定义拉格朗日函数欧拉方程案例分析--两点之间直线最短在Mathematica中使用变分法参考文献变分法入门介绍读完这篇博文你可以了解变分的基本概念,以及使用变分法求解最简泛函的极值。本文没有严密的数学证明,只是感性地对变分法做一个初步了解。泛函和变分法给定两点A(x0,y0)A(x_0, y_0)A(x0,y0)和B(x1,y1)...原创 2019-01-10 10:37:39 · 33939 阅读 · 9 评论 -
小波变换一之Haar变换
小波变换一之Haar变换Haar变换案例一简单一维信号变换案例二多分辨率一维信号变换注:小波变换系列博文打算记录自己学习小波变换的心路历程,每篇博文尽量简短,宗旨是用最少的数学公式说明白如何使用小波变换我的博客即将同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=1roiym8d6...原创 2019-01-17 04:48:09 · 9326 阅读 · 4 评论 -
单纯形法MATALAB实现
参考单纯形法的步骤,MATALAB中的实现如下(求极小值): 注:对于极大值的求解,只需要对目标函数添加负号,求解出来的XX,再带入原目标函数即可。function [ X, z ] = simplex( A, b, C )% 单纯形法的实现% X: 目标函数的最优解% z: 目标函数的极小值% A: 约束函数的系数矩阵% b: 约束函数的常数列向量% C: 目标函数的系数向量[m,原创 2017-10-17 08:54:01 · 6167 阅读 · 3 评论 -
单纯形法
单纯形法的基本思想(Simplex method)简要地讲就是,每次从单纯形上的一个顶点走到一个更好的顶点直到找到最小(大)值。线性规划是由两部分组成的:线性的目标函数和线性的限制条件。限制条件由等式和不等式组成。每一个线性的等式在几何上就限制了可行解必须在一个超平面上。每一个线性的不等式在几何上就限制了可行解必须在一个超平面的一边。于是这些限制条件就限制了可行解必须在某个单纯形上,所谓单纯形就是很原创 2017-10-17 01:47:53 · 12903 阅读 · 4 评论 -
最优方向法(MOD)
算法描述求解模型:min∑i∥xi∥0s.t.∥Y−DX∥2F≤ε\min\sum\limits_i\|x_i\|_0 \quad \mathrm{s.t.} \; \|Y-DX\|^2_F \leq \varepsilon或min∥Y−DX∥2Fs.t.∑i∥xi∥0≤T0\min\|Y-DX\|^2_F \quad \mathrm{s.t.} \; \sum\limits_i\|x_i\|_0原创 2017-10-19 03:07:43 · 2744 阅读 · 0 评论 -
常用向量和矩阵的范数
向量的范数任意x∈Cnx \in C^n,设x=(ξ1,ξ12,...,ξn)Tx=(\xi _{1}, \xi _{12}, ... , \xi _{n})^{T},常用的范数有 1. 2-范数∥x∥2=(∑i=1n|ξi|2)12\|x\|_{2}=(\sum _{i=1}^{n}|\xi _i|^2)^{\frac{1}{2}} 2. 1-范数∥x∥1=∑i=1n|ξi|\|x\|_{1}原创 2016-03-24 10:49:42 · 1362 阅读 · 0 评论 -
k-means聚类
算法简介K-means算法是很典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。 算法过程如下: 1. 从N个样本随机选取K个样本作为质心 2. 对剩余的每个样本测量其到每个质心的距离,并把它归到最近的质心的类 3. 重新计算已经得到的各个类的质心 4. 迭代2~3步直至新的质心与原质心相等或小于指定阈值,算法结束 注:这里的距离我们一般采原创 2016-03-24 15:37:49 · 1224 阅读 · 0 评论 -
矩阵的奇异值分解
定义设A∈Cm×nA\in C^{m\times n},则矩阵AHAA^{H}A的nn个特征值λi\lambda _i的算术平方根δi=λi−−√\delta _{i}=\sqrt {\lambda _i}叫做A的奇异值(Singular Value )。设A∈Cm×nA\in C^{m\times n},则存在酉矩阵U∈Cm×nU\in C^{m\times n}和V∈Cm×nV\in C^{m\原创 2016-03-24 20:44:12 · 2798 阅读 · 0 评论 -
Wolfram Mathematic流程控制
循环语句DoDo循环感觉和C语言中的for循环有点像,形式如下:示例:While语法形式: 示例: ForFor循环感觉和C语义的for循环是一样的,形式如下: 上面Do循环的第一个示例用For循环如下: 条件语句If语句If语句相等于C语义的If…else语句,语法形式如下: 示例: Which语句Which相等于多重的If…else if…语句,语法形式如下: 示例: Switc原创 2016-03-26 20:36:18 · 2253 阅读 · 0 评论 -
矛盾方程的最小二乘解
首先看两个个结论: 结论一:方程组Ax=bAx=b的最小二乘解的通式为x=Gb+(I−GA)yx=Gb+(I-GA)y, 其中G∈A{1,3}G\in A\{1, 3\}, yy是Cn\mathbb C^n中的任意向量.结论二:只有AA是满秩时, 矛盾方程组Ax=bAx=b 的最小二乘解才是唯一的, 且为x0=(AHA)−1AHbx_0=(A^HA)^{-1}A^Hb. 否则, 便有无穷多个最小二原创 2015-11-06 21:27:32 · 13677 阅读 · 0 评论 -
仿射变换
放射变换是平移、缩放、旋转、对称、错切五种变换的组合,其数学表达形式如下: ⎧⎩⎨⎪⎪x′=a11x+a12y+x0y′=a12x+a22y+y0\begin{cases}x' = a_{11}x + a_{12}y + x_0 \\[2ex] y' = a_{12}x + a_{22}y + y_0\end{cases} 采用齐次坐标系表示如下: [x′y′1]=[xy1]⋅⎡⎣⎢原创 2017-03-18 16:49:11 · 2462 阅读 · 0 评论 -
Moore-Penrose广义逆矩阵
起源设AA是n×nn\times n可逆方正,bb是任意一个nn维向量,则方程组Ax=bAx=b总有解,且解xx可表示为x=A−1b.x=A^{-1}b. 现在设AA是m×nm\times n可逆方正,bb是一个mm维向量,是否存在m×nm\times n矩阵GG,使得方程Ax=bAx=b总有解,且解xx可表示为x=Gb.x=Gb. 这样的矩阵GG就涉及到广义逆的概念。 广义逆也叫伪逆,一般是原创 2016-03-23 17:01:33 · 25393 阅读 · 4 评论 -
内点法
文字理解内点法属于约束优化算法。约束优化算法的基本思想是:通过引入效用函数的方法将约束优化问题转换成无约束问题,再利用优化迭代过程不断地更新效用函数,以使得算法收敛。 内点法(罚函数法的一种)的主要思想是:在可行域的边界筑起一道很高的“围墙”,当迭代点靠近边界时,目标函数徒然增大,以示惩罚,阻止迭代点穿越边界,这样就可以将最优解“档”在可行域之内了。数学定义对于下面的不等式约束的优化问题: mi原创 2016-03-25 10:42:05 · 21864 阅读 · 3 评论 -
基追踪及其实现
基追踪我们将l1l_1范数替换l0l_0范数以后,稀疏表征模型可以表示为:min∥α∥1s.t.Φα=s\min \|\alpha\|_1 \quad \mathrm{s.t.} \; \Phi\alpha = s这是一个二次规划问题,如何将l1l_1范数优化问题转为线性规划问题呢?参考Atomic Decomposition by Basis Pursuit中的方法,可以将l1l_1范数优化问题转原创 2017-10-18 05:29:36 · 8799 阅读 · 0 评论 -
Matlab中的im2col函数
官方文档对其功能的描述为为:Rearrange image blocks into columns. 即重排图像块为矩阵列。 函数原型为:B = im2col(A,[m n],block_type)block_type的取值可以为’distinct’或者’sliding’。当block_type为distinct时,将A沿列的方向分解为互不重叠的子矩阵,并将分解以后的子矩阵沿列的方向转换成B的列,原创 2016-03-22 21:22:57 · 20416 阅读 · 0 评论 -
小波变换三之Haar变换
文章目录小波变换三之Haar变换什么是基(Basis)Haar小波基第一层的基第二层的基母小波和父小波小波变换三之Haar变换什么是基(Basis)数学上有一个常用神秘专有名词“基”,那么什么是“基”呢?举个例子:在平面直角坐标系中的的一个点(x,y)(x, y)(x,y)的坐标可以表示为x⋅(1,0)+y⋅(0,1)x\cdot{(1, 0)} + y\cdot{(0, 1)}x⋅(1,0...原创 2019-01-30 03:01:45 · 4246 阅读 · 1 评论