
数学
文章平均质量分 73
qauzy
这个作者很懒,什么都没留下…
展开
-
音频处理整理
音频处理原创 2022-10-28 22:56:43 · 549 阅读 · 0 评论 -
【统计学习方法】EM算法实现之隐马尔科夫模型HMM
1 基本概念1.1 马尔科夫链(维基百科)马尔可夫链(英语:Markov chain),又称离散时间马尔可夫链(discrete-time Markov chain,缩写为DTMC),因俄国数学家安德烈·马尔可夫得名,为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质:下一状态的概率分布只能由当前状态决定,在时间序列中它前面的事件均与之无关。这种特定类型...原创 2020-04-22 19:22:03 · 3133 阅读 · 1 评论 -
【统计学习方法】高斯分布公式推导
1 基本概念准备1.1 扇形计算公式1.2 二重积分用极坐标表示(略去高阶无穷小)所以2 高斯分布公式2.1 高斯概率密度函数的的积分令则用极坐标表示:则:所以:2.2 高斯分布的期望令则:这里为奇函数,所以积分结果为0所以:这里参考:高斯分布期望...原创 2020-03-07 19:19:37 · 6432 阅读 · 0 评论 -
【统计学习方法】多维高斯分布
1 基本概念1.2 方差与协方差协方差就是衡量两个变量相关性的变量。当协方差为正时,两个变量呈正相关关系(同增同减);当协方差为负时,两个变量呈负相关关系(一增一减)。 而协方差矩阵,只是将所有变量的协方差关系用矩阵的形式表现出来而已。通过矩阵这一工具,可以更方便地进行数学运算。方差:协方差:1.2 协方差矩阵根据方差的定义,给定d个随机变量,则这些随机...原创 2019-12-25 15:13:24 · 1855 阅读 · 0 评论 -
【矩阵论】基本概念
1 矩阵相关概念1.1向量的內积(点乘)向量的点乘,也叫向量的内积、数量积,对两个向量执行点乘运算,就是对这两个向量对应位一一相乘之后求和的操作,点乘的结果是一个标量。对于向量:定义內积:1.2向量的外积(叉乘)两个向量的叉乘,又叫向量积、外积、叉积,叉乘的运算结果是一个向量而不是一个标量。并且两个向量的叉积与这两个向量组成的坐标平面垂直。对于向量:定义外积:...原创 2019-10-28 18:17:15 · 1287 阅读 · 0 评论 -
【统计学习方法】EM算法实现之GMM高斯混合模型
1 基本概念准备1.1协方差反应两个变量之间线性相关的强度,记为Cov(f(x),g(x))= E[(f(x)-E[f(x)])(g(x)-E(g(x)))]关于协方差的特性:若协方差绝对值很大, 则变量值得变化很大, 且相距各自均值很远 若协方差为正, 则两变量x,y都倾向于取较大值, 若协方差为负, 则一个倾向于取较大值,另一个倾向取较小值相关系数: 将每个变量归一化...原创 2019-10-12 01:04:02 · 1000 阅读 · 0 评论 -
【统计学习方法】支持向量机(SVM)
1 基本概念1.1 支持向量如下图所示,实心点和空心点分别代表数据的两种类别,他们被黄色区域中间的直线分隔成两部分。被蓝色和红色圆圈圈出的点即为支持向量。所谓支持向量,就是指距离分隔超平面最近的点。1.2 超平面外一点x到超平面的距离1.3 函数间隔和几何间隔函数间隔:几何间隔:2 线性可分支持向量机2.1 线性可分支持向量机定义给定线性可分训练数据集,...原创 2019-09-28 23:58:35 · 553 阅读 · 0 评论 -
【统计学习方法】不等式约束,拉格朗日对偶函数,KKT条件
1 基本概念1.1 不等式约束1.2 广义拉格朗日函数定义如下拉个朗日函数:令如果x满足1.1中的约束条件,则则原不等式约束优化问题等价于:,两个取得的值是完全一样的,称为原始问题。1.3 拉格朗日对偶函数令,是原始问题(变量是x)的一个下界,称为拉格朗日对偶函数(变量是)。则对于所有,成立:则是原始问题的最大下界:当...原创 2019-09-25 09:48:27 · 4005 阅读 · 0 评论 -
【统计学习方法】拉格朗日乘子法
1 方向导数和梯度1.1 方向导数定义函数在点沿方向的方向导数:根据拉格朗日中值定理(证明)1.2 梯度可以看成是两个向量的內积(点积),令则:,则可以得出以下结论:当时,方向相同,函数变化率最大,且在点处呈上升趋势当时,方向相反,函数变化率最大,且在点处呈下降趋势我们称向量为函数在点处的梯度。多元函数在某一点的梯度是一个非常特殊的...原创 2019-09-11 19:57:04 · 1061 阅读 · 0 评论 -
【统计学习方法】感知机
1 基本概念1.1 向量点乘向量的点乘,也叫向量的内积、数量积,对两个向量执行点乘运算,就是对这两个向量对应位一一相乘之后求和的操作,点乘的结果是一个标量。向量向量则a,b点乘点乘的几何意义是可以用来表征或计算两个向量之间的夹角,以及在b向量在a向量方向上的投影1.2 点到直线距离公式直线公式,直线外一点,则点到直线的距离公式为:1.3超平面而d...原创 2019-09-06 02:35:31 · 260 阅读 · 0 评论 -
【统计学习方法】朴素贝叶斯算法
1 基本概念1.1先验概率(prior probability)是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现的概率。1.2 条件概率条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为:P(A|B),读作“在B的条件下A的概率”。条件概率计算公式:P(AB)=P(A)P(B|A)=P(B)P(A|B)详细:...原创 2019-08-29 17:51:08 · 733 阅读 · 0 评论 -
同余定理与费马(Fermat)小定理
1 同余定理定义如果两个整数a和b,(a-b)能被m整除,则a和b被m除的余数相同,记做如果有,则2 同余定理证明充分性:假定(其中r1和r1小于m,h1和h2为整数)a = h1*m+r1b = h2*m+r2则a-b = (h1-h2)*m + (r1-r2)因为,则r1-r2=0,即r1=r2,得证必要性:整数a,b,被整数m除的余数相同,其中...原创 2018-07-20 00:22:58 · 7525 阅读 · 1 评论 -
欧拉定理与RSA算法原理
// GenerateMultiPrimeKey generates a multi-prime RSA keypair of the given bit// size and the given random source, as suggested in [1]. Although the public// keys are compatible (actually, indist...原创 2018-07-25 20:30:07 · 2042 阅读 · 0 评论 -
信息量与信息熵
1 信息量信息量即信息多少的度量。跟我们认识中秒是时间多少的度量,米是长度多少的量度是一样的意思。百度百科上定义秒:铯133原子基态的两个超精细能阶之间跃迁时所辐射的电磁波的周期的9,192,631,770倍 的时间 。那信息的多少怎么衡量呢?一个人告诉你一件事,比如太阳从东方升起;你说这是常识啊,大家都知道。一个人告诉你,明天某个时间在某个地方待着,将有一个亿支票掉下来,这个事情概率比较低,信息...原创 2018-07-14 17:52:33 · 6615 阅读 · 1 评论 -
RSA算法及其数学原理
1 密钥和公钥生成过程随机找出两个不同的质数(越大越好)p,q。 n=p*q,根据欧拉函数,有 随机找出一个数e,使 计算e对于模反元素d,即找出d,使 (e,n)为公钥,(d,n)为密钥2 加密和解密过程假设待加密资料为m(必须小于n,如果大于,采用分段加密方式解决)。加密资料:解密密文:3 数学基础具体参考:https://blog.youkuaiyun.com/idwt...原创 2018-07-29 19:31:51 · 7095 阅读 · 0 评论 -
导数,差商,牛顿插值法
1 差商的定义设有函数f(x)以及自变量的一系列互不相等的的值f(xi),称为f(x)在点处的一阶差商,并记作。又称为f(x)在点处的二阶差商;称:为f(x)在点处的n阶差商。2 牛顿插值法的推导有了差商的定义,就很容易推出牛顿插值的公式。根据均差定义 , 把 x 看成[ a, b] 上一点 , 可得,把后一式代入前一式,得到:...原创 2019-07-20 02:29:18 · 8286 阅读 · 1 评论 -
【凸优化】仿射,仿射集,凸集,Jensen不等式
1 定义和基本概念1.0直线的空间参数方程A,B,M三点共线: 直线的参数方程:给定一个定点A和向量,则,取,则1.1 直线和线段如果,则经过两点的直线可表示为:或:如果,则表示为线段。1.2 仿射如果通过集合的两个不同的点的直线,仍在C中,则称C是仿射。也就是仿射等价于如果,那么直线1.3 仿射集仿射的概念可以推广到n个点...原创 2019-08-23 23:42:08 · 1243 阅读 · 0 评论 -
【统计学习方法】EM算法原理
1 基本概念准备1.1 最大似然估计(MLE)最大似然估计是统计学中的概念,维基百科中给出的定义是:最大似然估计(英语:maximum likelihood estimation,缩写为MLE),也称最大概似估计,是用来估计一个概率模型的参数的一种方法。具体来讲,就是利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果的模型参数值(模型已定,参数未知)。比较简单的例子...原创 2019-10-05 19:49:10 · 1142 阅读 · 0 评论