核密度估计Kernel Density Estimation(KDE)

从零开始实现核密度估计(kernel density estimation,KDE)-python实现 问题背景 核密度估计(kernel density estimation)是在概率论中用来估计未知的密度函数,属于非参数检验方法之一,由Rosenblatt (1955)和Emanuel Parzen(1962)提出,又名Parzen窗(Parzen window)。 具体原理推导可参考这篇博客。 此篇博客侧重于根据理论公式,给出python实现。 python工具包推荐 seaborn,pandas,scikit-learn中均提供了kde计算及绘图函数,可直接查阅/调用。 理论基础 核密度估计的核心公式 阅读详情

前言

已知一个服从密度函数p(x)的随机变量x的N个观测x1,x2,…,xn,但不知p(x),这里p(x)称为期望学到的密度函数,试求p(x)。这个问题称为密度估计问题。为求样本集的密度函数,有两种方法:
1. 参数估计方法
简单来讲,即假定样本集符合某一概率分布,然后根据样本集拟合该分布中的参数,例如:似然估计,混合高斯,贝叶斯估计等,由于参数估计方法中需要加入主观的先验知识,往往很难拟合出与真实分布的模型;
2. 非参数估计方法
和参数估计不同,非参数估计并不加入任何先验知识,而是根据数据本身的特点、性质来拟合分布,这样能比参数估计方法得出更好的模型。核密度估计就是非参数估计中的一种,由Rosenblatt (1955)和Emanuel Parzen(1962)提出,又名Parzen窗(Parzen window)。Ruppert和Cline基于数据集密度函数聚类算法提出修订的核密度估计方法。

核密度估计

直方图是密度估计的一种非参数方法,虽然直方图法直观简单,但是由于样本数据有限,因此导致得到的p ̂(x)间断不连续,与生活常识不符。为了使p ̂(x)连续,每一个观测样本对密度的影响也应该是连续的,其对密度的影响力应该随着距离的增加而平滑减小。由此得到核密度估计公式:
p ( x ) = 1 N ∑ k = 1 N 1 h K ( x − x k h ) \text{p}(x)=\frac{1}{N}\sum\limits_{k=1}^{N}{\frac{1}{h}K(\frac{x-{{x}_{k}}}{h})} p(x)=N1​k=1∑N​h1​K(hx−xk​​)
其中,参数h称为带宽,K(x)称为核函数,K(x)满足条件:
K ( x ) ≥ 0 , ∫ K ( x ) d x = 1 K(x)\ge 0,\int{K(x)dx=1} K(x)≥0,∫K(x)dx=1
∫ x K ( x ) d x = 0 \int{xK(x)dx=0} ∫xK(x)dx=0
∫ x 2 K ( x ) d x > 0 \int{{{x}^{2}}K(x)dx>0} ∫x2K(x)dx>0
可见,核函数K(x)并不是唯一的,因此,核密度估计公式也不是唯一的。我们要做的是选取合适的带宽h和合适的核函数K(x)。

核函数

从支持向量机、meansift都接触过核函数,应该说核函数是一种理论概念,但每种核函数的功能都是不一样的,这里的核函数有Uniform,Triangular, Epanechnikov, Quartic, Triweight, Gaussian, Cosine等。
这些核函数的图像大致如下图:
在这里插入图片描述
此处对一些常用的核函数作以下说明:
Epanechnikov核:
K ( x ) = 3 4 ( 1 − x 2 ) I ( ∣ x ∣ ≤ 1 ) K(x)=\frac{3}{4}(1-{{x}^{2}})I(|x|\le 1) K(x)=43​(1−x2)I(∣x∣≤1)
高斯核:
K ( x ) = 1 2 π exp ⁡ ( − x 2 2 ) K(x)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{{{x}^{2}}}{2}) K(x)=2π ​1​exp(−2x2​)

如果你想了解更多关于核函数的内容,请点击这里

带宽h的选择

在核函数确定之后,比如上面选择的高斯核,那么高斯核的方差,也就是h(也叫带宽,也叫窗口,我们这里说的邻域)应该选择多大呢?不同的带宽会导致最后的拟合结果差别很大。同时上面也提到过,理论上h->0的,但h太小,邻域中参与拟合的点就会过少。那么借助机器学习的理论,我们当然可以使用交叉验证选择最好的h。另外,也有一个理论的推导给你选择h提供一些信息。
在样本集给定的情况下,我们只能对样本点的概率密度进行计算,那拟合过后的概率密度应该核计算的值更加接近才好,基于这一点,我们定义一个误差函数,然后最小化该误差函数便能为h的选择提供一个大致的方向。选择均平方积分误差函数(mean intergrated squared error),该函数的定义是:
M I S E ( h ) = E ∫ ( ^ f ( x ) − f ( x ) ) 2 d x MISE(h)=E\int{{{\hat{(}f(x)-f(x))}^{2}}dx} MISE(h)=E∫(^​f(x)−f(x))2dx
在weak assumptions下, M I S E ( h ) = A M I S E ( h ) + o ( 1 n h + h 4 ) MISE(h)=AMISE(h)+o(\frac{1}{nh}+{{h}^{4}}) MISE(h)=AMISE(h)+o(nh1​+h4),其中AMISE为渐进的MISE,而AMISE为:
A M I S E ( h ) = R ( k ) n h + 1 4 m 2 ( K ) 2 h 4 R ( f ′ ′ ) AMISE(h)=\frac{R(k)}{nh}+\frac{1}{4}{{m}_{2}}{{(K)}^{2}}{{h}^{4}}R({{f}^{''}}) AMISE(h)=nhR(k)​+41​m2​(K)2h4R(f′′),其中:
R ( k ) = ∫ K ( x ) 2 d x , m 2 ( k ) = ∫ x 2 K ( x ) d x R(k)=\int{K{{(x)}^{2}}dx},{{m}_{2}}(k)=\int{{{x}^{2}}K(x)dx} R(k)=∫K(x)2dx,m2​(k)=∫x2K(x)dx
最小化MISE(h)等价于最小化AMISE(h),求导,令导数为0有:
∂ ∂ h A M I S E ( h ) = − R ( k ) n h 2 + m 2 ( K ) 2 h 3 R ( f ′ ′ ) = 0 \frac{\partial }{\partial h}AMISE(h)=-\frac{R(k)}{n{{h}^{2}}}+{{m}_{2}}{{(K)}^{2}}{{h}^{3}}R({{f}^{''}})=0 ∂h∂​AMISE(h)=−nh2R(k)​+m2​(K)2h3R(f′′)=0
得:
h A M I S E = R ( K ) 1 5 m 2 ( K ) 2 5 R ( f ′ ′ ) 1 5 n 1 5 {{h}_{AMISE}}=\frac{R{{(K)}^{\frac{1}{5}}}}{{{m}_{2}}{{(K)}^{\frac{2}{5}}}R{{({{f}^{''}})}^{\frac{1}{5}}}{{n}^{\frac{1}{5}}}} hAMISE​=m2​(K)52​R(f′′)51​n51​R(K)51​​
当核函数确定之后,h公式里的R、m、f’'都可以确定下来,h便存在解析解。如果带宽不是固定的,其变化取决于估计的位置(balloon estimator)或样本点(逐点估计pointwise estimator),由此可以产生一个非常强大的方法称为自适应或可变带宽核密度估计。

参考

https://blog.youkuaiyun.com/unixtch/article/details/78556499
https://www.zhihu.com/question/27301358/answer/105267357?from=profile_answer_card
http://blog.youkuaiyun.com/yuanxing14/article/details/41948485

机器学习算法(二十一):核密度估计 Kernel Density Estimation(KDE) 1 分布密度函数 给定一个样本集,怎么得到该样本集的分布密度函数,解决这一问题有两个方法: 1.1 参数估计方法 简单来讲,即假定样本集符合某一概率分布,然后根据样本集拟合该分布中的参数,例如:似然估计,混合高斯等,由于参数估计方法中需要加入主观的先验知识,往往很难拟合出与真实分布的模型; 1.2 非参数估计 和参数估计不同,非参数估计并不加入任何先验知识,而是根据数据本身的特点、性质来拟合分布,这样能比参数估计方法得出更好的模型。核密度估计就是非参数估计中的一种,由... 阅读详情

相关推荐

核密度估计法(KDE)的概念,应用,优点,缺点,以及与正态分布(高斯分布)的区别,以及与概率分布的区别联系。看完你就真正捋清这些概念了

核密度估计法(KDE)的发展起源可以追溯到1950年代和1960年代。在概率论中,人们经常需要估计未知的密度函数,以便更好地理解数据的分布特征。在早期,直方图被广泛用于一维数据的密度估计。直方图将数据分成若干区间,并统计落入每个区间内的点的数量,然后用直观的方式将结果可视化。然而,直方图存在一些局限性,例如无法处理多维数据,以及对于边界效应的处理不够理想。为了克服这些局限性,Rosenblatt (1955)和Emanuel Parzen(1962)提出了一种名为核密度估计的非参数方法。

qlkaicx的博客 1万+

核密度估计(KDE)原理及实现

统计学中,核密度估计,即Kernel Density Estimation,用以基于有限的样本推断总体数据的分布,本文对核密度估计的原理进行探讨,在此基础上进行实现

Civitasv 8万+

核密度估计(kernel density estimation)kde

kde(kernel density estimation)是核密度估计。核的作用是根据离散采样,估计连续密度分布。 核密度估计是在概率论中用来估计未知的密度函数,属于非参数检验方法之一。由于核密度估计方法不利用有关数据分布的先验知识,对数据分布不附加任何假定,是一种从数据样本本身出发研究数据分布特征的方法,因而,在统计学理论和应用领域均受到高度的重视。 核密度估计其实就是通过核函数(如高斯)...

m0_37712157的博客 8738

核密度估计

核密度估计 核密度估计属于非参数估计方法。概率分布是统计推断的核心问题,一旦给出联合概率密度,就能够回答变量子集之间的所有问题。可以说,参数统计的核心内容就是对密度的估计。通常在实际问题中,很多数据的分布无从得知,只能通过假设确定,而核密度估计正是为了适应这一问题而产生的。 直方图密度估计 基本概念 要说核密度估计就不得不提到直方图估计,直方图通常用来描述数据的频率,可以使我们对数据的分布有一个基...

qq_44638724的博客 9358

核方法是什么?核密度估计是什么?核函数是什么?他们之间有什么关系?有多少种核函数?

一切从好的问题开始 SVM中为什么需要核函数? 核密度估计的核又是什么? KPCA中的核的作用是什么? 深度学习CNN中的卷积核?核和过滤有又什么关系? 核密度估计又是什么? 核函数和激活函数什么关系? Linux内核叫Kernel? Jupyter Notebook的运行内核也叫Kernel? 从原理上说,把高维向量映射到无穷维的hilbert空间以后基本线性可分了(也有线性不可分的情况!升维后不一定线性可分,我们也不需要它线性可分。不过一般情况下升维后会更接近线性可分,这就...

data+scenario+science+insight 1824

表格数据学习的图神经网络综述

今天学习一篇发表在中科院一区期刊《ACM Computing Surveys》的综述文章《Graph Neural Networks for Tabular Data Learning: A Survey with Taxonomy & Directions》,该刊主要刊载计算机理论方法领域的系统性综述与教程论文,注重跨学科技术融合研究,最新的影响因子为28.0。本文的目的在于通过学习这篇文章,了解关于表格数据学习点图神经网络一些基础知识。

qq_41009600的博客 802

核密度估计 Kernel Density Estimation (KDE) MATLAB

对于已经得到的样本集,核密度估计是一种可以求得样本的分布的概率密度函数的方法: 通过选取核函数和合适的带宽,可以得到样本的distribution probability,在这里核函数选取标准正态分布函数,bandwidth通过AMISE规则选取 具体原理及定义:传送门https://en.wikipedia.org/wiki/Density_estimation M...

diaobing4810的博客 7060

5.1 滑模控制(SMC)及其改进

本文系统阐述了滑模控制(SMC)的基本原理及其在永磁同步电机(PMSM)控制系统中的应用。首先介绍了滑模控制的核心思想,包括滑模面设计和不连续控制律,其强鲁棒性使其在电机控制领域得到广泛应用。其次分析了SMC在PMSM速度控制器和无位置传感器观测器中的具体实现方案。重点探讨了SMC固有的抖振问题,详细比较了边界层法、高阶滑模和自适应方法等多种改进策略的优缺点。最后指出改进SMC的研究趋势是多种策略的融合应用,如自适应高阶滑模等,以在保持鲁棒性的同时有效抑制抖振。

技术工作者 1451

核密度估计(Kernel Density Estimation, KDE)理论及介绍

核密度估计(KDE)是一种非参数密度估计方法,通过将每个数据点视为一个核函数(如高斯核),叠加所有核并归一化,生成平滑的连续概率密度曲线,克服直方图的边界不连续和箱宽敏感问题。

qq_42758052的博客 1万+

工业视觉开发者的福音:用C#玩转VisionMaster算子(非方案版完整教程)

本文为工业视觉开发者提供了一份完整的C#与VisionMaster算子二次开发教程,详细介绍了环境配置、算子调用原理、性能优化技巧及实战案例。通过模板匹配和二维码识别等实例,展示了如何高效集成VisionMaster算子到现有框架中,提升工业自动化视觉检测系统的灵活性和性能。

weixin_29280657的博客 273

【一】Android MediaPlayer整体架构源码分析 -【初始化和创建】

本系列文章分析的安卓源码版本:【Android 10.0 版本】 一、MediaPlayer的简单调用关键流程 【这只是一个简单使用过程示例】 // 此处变量声明省略 private void play() { // 先获取SurfaceHolder mSurfaceView = findViewById(R.id.surface_view); mSurfaceHolder = mSurfaceView.getHolder(); mSurfac

CloverLHao的博客 4349

核密度估计 Kernel Density Estimation(KDE)

写在前面给定一个样本集,怎么得到该样本集的分布密度函数,解决这一问题有两个方法: 1.参数估计方法 简单来讲,即假定样本集符合某一概率分布,然后根据样本集拟合该分布中的参数,例如:似然估计,混合高斯等,由于参数估计方法中需要加入主观的先验知识,往往很难拟合出与真实分布的模型; 2.非参数估计 和参数估计不同,非参数估计并不加入任何先验知识,而是根据数据本身的特点、性质来拟合分布

南极企鹅 16万+

C/C++_五大常规算法_分治算法

分治法 一个装有 16 枚硬币的袋子,16 枚硬币中有一个是伪造的,伪造的硬币和普通硬币从表面上看不出有任何差别,但是那 个伪造的硬币比真的硬币要轻。现有给你一台天平,请你在尽可能最短的时间内找出那枚伪造的硬币。 常规思维: 每次从待比较的硬币中取两枚进行计较,如果天平平衡(相等)就继续取剩下的硬币进行比较 继续以上过程,直到找到硬币。 强者思维: 我们先将 16 枚硬币分为左右两个部分,各为 8 个硬币,分别称重,必然会有一半轻一半重,而我们要的就是轻的那组,重 的舍去。接下来我们继续对轻的进行五五分

weifc-wei 的博客 2726

核密度估计KDE(kernel density estimation)理论及python实现

前言pdf和cdf:https://zhuanlan.zhihu.com/p/644575445核密度估计核密度估计(kernel density estimation,KDE)是一种非参数方法,用于估计数据的概率密度函数。KDE基于核函数,以一定的带宽参数,通过对每个数据点附近的核函数进行加权平均来估计数据点的概率密度,即根据有限的数据样本对总体进行推断。核函数通常选择高斯核函数(Gaussia...

AI蜗牛车 5610

Linux USB设备命名规则

有一个USB设备,接到了Linux系统的终端的某个插口上,那么怎么找到这个设备对应设备路径呢?这个USB设备虚拟了多个功能(三个串口和一个网卡), 如何找到对应操作路径呢?

weixin_43132521的博客 1700

告别蓝牙音质妥协:用ESP32和PCM5102搭建WiFi无损音频播放器(附完整代码)

本文详细介绍了如何利用ESP32微控制器和PCM5102 DAC芯片构建一套完整的WiFi无损音频流媒体系统,彻底摆脱蓝牙协议的音质束缚。从硬件原理到软件实现,包括核心器件选型、电路设计、I2S音频驱动实现以及系统优化方案,帮助音频发烧友实现高保真无线音频传输。

weixin_30733003的博客 544

核密度估计图(Kernel Density Estimation, KDE)

分别利用seaborn和scipy, numpy生成KDE图

Welcome to the Matrix 2万+

手把手教你用git上传项目到GitHub(图文并茂,这一篇就够了),相信你一定能成功!!

GitHub是基于git实现的代码托管。git是目前最好用的版本控制系统了,非常受欢迎,比之svn更好。 GitHub可以免费使用,并且快速稳定。即使是付费帐户,每个月不超过10美刀的费用也非常便宜。 利用GitHub,你可以将项目存档,与其他人分享交流,并让其他开发者帮助你一起完成这个项目。优点在于,他支持多人共同完成一个项目,因此你们可以在同一页面对话交流。 创建自己的项目,并备份,代码不需要保存在本地或者服务器,GitHub做得非常理想。 学习Git也有很多好处。他被视为一个预先维护过程,你可以按自己

左手の明天的博客 3万+

核密度估计(kernel density estimation,KDE)

核密度估计(kernel density estimation)是在概率论中用来估计未知的密度函数,属於非参数检验方法之一,由Rosenblatt (1955)和Emanuel Parzen(1962)提出,又名Parzen窗(Parzen window)。Ruppert和Cline基于数据集密度函数聚类算法提出修订的核密度估计方法。 统计分布密度估计是根据观测数据而对其假定

yangmei3668038的专栏 1万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

KDE(Kernel Density Estimation)(核密度估计)是什么?

KDE(核密度估计)是什么?

Drug discovery 2694

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

MATLAB 核密度估计 Kernel Density Estimation (KDE)

通过选取核函数和合适的带宽,可以得到样本的distribution probability,在这里核函数选取标准正态分布函数,bandwidth通过AMISE规则选取。具体原理及定义:传送门。

weixin_44092113的博客 3224

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

基于核密度估计Kernel Density Estimation, KDE的数据生成方法研究(Matlab代码实现)

核密度估计(KDE)是一种非参数方法,用于估计概率密度函数。在数据生成方面,在以下几个方面进行研究:1. **基本原理理解**:首先,你需要理解KDE的基本原理。KDE通过在每个数据点周围放置一个核函数(比如高斯核),然后将这些核函数加和起来来估计概率密度函数。2. **核函数选择**:研究不同类型的核函数对生成的数据的影响。常用的核函数包括高斯核、矩形核、三角核等。你可以比较它们在不同数据集上生成的效果。3. **带宽选择**:带宽控制了核函数的宽度,从而影响了估计的平滑程度。

2301_77414277的博客 1105

ML之01-核密度估计Kernel Density Estimation(KDE)

由给定样本集合求解随机变量的分布密度函数问题是概率统计学的基本问题之一。解决这一问题的方法包括参数估计和非参数估计。

Levine Huang 5637

核密度估计Kernel Density Estimation(KDE)-代码详细解释

在介绍核密度评估Kernel Density Estimation(KDE)之前,先介绍下密度估计的问题。由给定样本集合求解随机变量的分布密度函数问题是概率统计学的基本问题之一。解决这一问题的方法包括参数估计和非参数估计。(对于估计概率密度,如果确定数据服从的分布类型,可以使用参数拟合,否则只能使用非参数拟合) 参数估计又可分为参数回归分析和参数判别分析。在参数回归分析中,人们假定数据分布...

微电子学与固体电子学-俞驰 3万+

核密度估计python_核密度估计Kernel Density Estimation(KDE)

在介绍核密度评估Kernel Density Estimation(KDE)之前,先介绍下密度估计的问题。由给定样本集合求解随机变量的分布密度函数问题是概率统计学的基本问题之一。解决这一问题的方法包括参数估计和非参数估计。参数估计又可分为参数回归分析和参数判别分析。在参数回归分析中,人们假定数据分布符合某种特定的性态,如线性、可化线性或指数性态等,然后在目标函数族中寻找特定的解,即确定回归模型中的...

weixin_39625162的博客 2843
上一篇: Python环境配置
下一篇: 线性回归(Linear Regression)
ilike_program
博客等级 码龄10年 20粉丝 15原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值