非参数贝叶斯模型概述

最新推荐文章于 2025-10-01 15:31:23 发布

原创

最新推荐文章于 2025-10-01 15:31:23 发布 · 1.9w 阅读

23 ·

CC 4.0 BY-SA版权

本文介绍了非参数贝叶斯模型，这种模型允许参数随着数据量变化自适应调整。贝叶斯非参数模型如高斯过程回归和狄里克雷混合过程在回归、分类、聚类等问题中广泛应用。特别是层次化的狄利克雷过程（HDP）在聚类问题中的中餐馆过程（CRP）示例，为数据分配提供了灵活的方法。建议读者参考Erik Sudderth的博士论文，了解概率图模型和机器视觉中的应用。

看这个模型很久了，可能一直深入的不够，现把自己的一点愚见不断的贴上来，一起交流，共同进步。

贝叶斯非参数模型是一种定义在无限维参数空间上的贝叶斯模型。其大概的意思是说非参数模型的大小可以随着模型内数据的增大或减小而自适应模型的变化，可以根据数据的多少选择参数来确定模型（这一定义的直观解释参考PRML figure 2.5）。正如天下没有免费的午餐一样，非参数模型也需要假设参数的，跟以往参数模型不同之处在于这个非参数模型只需要一个很小的假设就能够学习数据并进行聚类，不断增加的数据也能够不断的被聚集到相应的类中；同时，这个模型的还具备预测的功能，根据具体的学习问题可以选择能与这个问题的相关的所有的参数构成的空间数据模型进行解决。比如，在回归问题中，参数空间能够由所有的连续函数构成；又如在密度函数估计中参数空间可由所有的密度函数构成。简言之，就是只要你能找到的，能对解决目标问题有帮助的参数信息，所有的信息都可以一起用来组建模型。既然参数都能被用上，是不是在无限的增加模型的复杂度呢？其实，非参数模型可利用的参数维数中的有限的子数组来解释有限的样本观察量，维数的选择取决于样本的分布情况，这样模型（样本分布决定其维数）的复杂度就可以自适应于数据。

非参数的分析及模型选择，主要要归结到贝叶斯推断问题中（INFERENCE）.当前较为流行的贝叶斯非参数模型包括高斯回归过程，这个是结构的变化随着样本的变化而不断发生变化。还有一个用的较多的狄里克雷混合过程用于解决clustering，它将新来的数据不断的分到相应的clustering中去。机器学习的一些典型问题，如回归Regression,分类classification(supervised),分簇clustering(unsupervised),潜在语义模型latent variable modeling,序列模型sequential modeling,图像分割image segmentation,source separation and grammar induction等等，这些问题决都可引入贝叶斯非参数模型，所以这个模型可以谈的上是一个应用较广的模型。