Gamma,Beta,Dirichlet分布图像

本文探讨了Gamma分布的参数及其对分布形状的影响,并通过MATLAB代码展示了不同参数下的分布曲线。此外,还介绍了Beta分布及Dirichlet分布与Gamma分布的关系,包括如何生成Dirichlet分布的随机样本。

Gamma分布

http://cos.name/2013/01/lda-math-gamma-function/ 神奇的Gamma函数

其中 α 称为 shape parameter, 主要决定了分布曲线的形状;而β 称为 rate parameter 或者inverse scale parameter (1/β 称为scale parameter),主要决定曲线有多陡。

x=0:0.01:10;
color=['b','g','r','k','c','y','m']
a=ones(length(x),10);
% for i=1:10
%     a(:,i)=gampdf(x,i,1);
%     legend(num2str(i))
%     hold on
% end
% plot(x,a)
% b=num2str(1:10)
% legend(b(1),b(5),b(9),b(13),b(17),b(21),b(25),b(29),b(33),b(36:37))
for i=1:7
    subplot(3,1,1)
    plot(x,gampdf(x,i,1),color(i))
    hold on
end
t=[]
for i=1:7
    t=[t;strcat('\beta=',num2str(i))];
end
legend(t)

for i=1:7
    subplot(3,1,2)
    plot(x,gampdf(x,1,i),color(i))
    hold on
end
t=[]
for i=1:7
    t=[t;strcat('\alpha=',num2str(i))];
end
legend(t)

for i=1:7
    subplot(3,1,3)
    plot(x,gampdf(x,i,i),color(i))
    hold on
end
t=[]
for i=1:7
    str=sprintf('\\alpha=%d,\\beta=%d',i,i);
    t=[t;str];
end
legend(t)

Beta分布

$\alpha$,$\beta$代表先验,都等于1,则是uniform,相等情况下,越大,则概率为0.5的后验概率越大。均值为$\frac{\alpha}{  (\alpha+\beta)}$

 

Dirichlet分布生成随机数

程序,摘自topictoolbox,
function r = drchrnd(a,n)
% take a sample from a dirichlet distribution
p = length(a);
r = gamrnd(repmat(a,n,1),1,n,p);
r = r ./ repmat(sum(r,2),1,p);

这样生成的r就是服从dirichlet distribution的样本。就是这么简单,
a= drchrnd([1 1 1],10)

a =

    0.0703 0.4272 0.5025
    0.8037 0.0126 0.1837
    0.3358 0.5767 0.0875
    0.8500 0.0952 0.0549
    0.0230 0.5806 0.3964
    0.4690 0.0569 0.4741
    0.4175 0.1979 0.3846
    0.2218 0.6157 0.1624
    0.5576 0.0332 0.4091
    0.1335 0.7247 0.1418

topic toolbox中,之所以可以这么写,充分利用了dirichlet distribution和gamma分布之间的关系。经过推导可以证明,dirichlet distribution可以看作是多个gamma(ai,1)的乘积(包括除)。同时利用了gamma的分布的一个重要性质,xi~gamma(ai,b)分布,则sum(xi)~gamma(sum(ai),b)分布。

 

 

转载于:https://www.cnblogs.com/huashiyiqike/articles/3232082.html

### Dirichlet 分布的定义 Dirichlet 分布是一组定义在 \( K \) 维单纯形上的连续概率分布,通常用于表示多项分布参数的先验分布。其概率密度函数的形式为: \[ f(\mathbf{p}; \boldsymbol{\alpha}) = \frac{1}{B(\boldsymbol{\alpha})} \prod_{i=1}^K p_i^{\alpha_i - 1} \] 其中,\( \mathbf{p} = (p_1, p_2, \ldots, p_K) \) 是一个 \( K \)-维向量,满足 \( p_i \geq 0 \) 且 \( \sum_{i=1}^K p_i = 1 \),\( \boldsymbol{\alpha} = (\alpha_1, \alpha_2, \ldots, \alpha_K) \) 是一个正实数向量,\( B(\boldsymbol{\alpha}) \) 是归一化常数,定义为: \[ B(\boldsymbol{\alpha}) = \frac{\prod_{i=1}^K \Gamma(\alpha_i)}{\Gamma\left(\sum_{i=1}^K \alpha_i\right)} \] 这里 \( \Gamma(x) \) 是 Gamma 函数[^2]。 ### Dirichlet 分布的性质 - **共轭性**:Dirichlet 分布是多项分布的共轭先验分布。这意味着如果先验分布Dirichlet 分布,则在观测到多项分布的数据后,后验分布仍然是 Dirichlet 分布,只是参数 \( \boldsymbol{\alpha} \) 会根据数据进行更新[^2]。 - **均匀分布特例**:当所有 \( \alpha_i = 1 \) 时,Dirichlet 分布退化为均匀分布,即每个 \( \mathbf{p} \) 的组合具有相同的概率。 - **期望与方差**:对于 Dirichlet 分布中的每个分量 \( p_i \),其期望和方差分别为: \[ \mathbb{E}[p_i] = \frac{\alpha_i}{\sum_{j=1}^K \alpha_j} \] \[ \text{Var}(p_i) = \frac{\alpha_i (\sum_{j=1}^K \alpha_j - \alpha_i)}{(\sum_{j=1}^K \alpha_j)^2 (\sum_{j=1}^K \alpha_j + 1)} \] 这些性质使得 Dirichlet 分布在贝叶斯统计中非常有用。 ### Dirichlet 分布的应用领域 #### 在机器学习中的应用 Dirichlet 分布广泛应用于机器学习领域,尤其是在需要建模离散分布参数的情况下。例如,在主题模型(如 LDA,Latent Dirichlet Allocation)中,文档的主题分布和主题的词分布通常假设服从 Dirichlet 分布[^4]。 #### 在统计学中的应用 在统计学中,Dirichlet 分布常用于对多项分布参数进行贝叶斯推断。通过选择适当的先验分布,可以有效地结合先验知识和观测数据,从而得到后验分布。 以下是一个简单的 Python 示例,展示如何使用 Dirichlet 分布生成随机样本: ```python import numpy as np from scipy.stats import dirichlet # 设置 Dirichlet 分布的参数 alpha = [1.0, 2.0, 3.0] # 创建 Dirichlet 分布对象 dist = dirichlet(alpha) # 生成 5 个随机样本 samples = dist.rvs(size=5) print("生成的随机样本:") print(samples) ``` ### 总结 Dirichlet 分布作为一种重要的概率分布,因其与多项分布的共轭性以及灵活的建模能力,在机器学习和统计学中有着广泛的应用。通过合理设置参数 \( \boldsymbol{\alpha} \),可以有效表达对离散分布参数的不同假设。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值