概率空間

概率空間概率論的基礎。概率的嚴格定義基于這個概念。

定義

概率空間(ΩFP)是一個總測度為1的測度空間(即P(Ω)=1).

第一項Ω是一個非空集合,有時稱作“樣本空間”。Ω 的集合元素稱作“樣本輸出”,可寫作ω。

第二項F是樣本空間Ω幂集的一個非空子集。F的集合元素稱為事件Σ。事件Σ是樣本空間Ω集族。集合F必須是一個σ-代數

  1. \Omega{\in}\mathcal{F}
  2. A{\in}\mathcal{F},則\bar{A}{\in}\mathcal{F}
  3. A_n{\in}\mathcal{F}n=1,2,...,則\bigcup_{n=1}^{\infty}A_n{\in}\mathcal{F}

(ΩF)合起來稱為可测空間。事件就是樣本輸出的集合,在此集合上可定義其概率。

第三項P稱為概率,或者概率測度。這是一個從集合F到實數域R的函數,P:\;F{\mapsto}R。每個事件都被此函數賦予一個0和1之間的概率值P必須是一個測度,且P(Ω)=1

概率測度經常以黑体表示,例如\mathbb P\mathbb Q,也可用符號"Pr"來表示。

例子

若樣本空間是關于一個机會均等的拋硬幣動作,則樣本輸出為“正面”或“反面”。事件為:

  • {正面},其概率為0.5。
  • {反面},其概率為0.5。
  • { }= 非正非反,其概率為0.
  • {正面,反面},不是正面就是反面,這是Ω,其概率為1。

相關概念

隨机變量

隨机變量是一個從Ω映射到另一個集合(通常是實數域R)的函數。 它必須是一個可测函數。比如說,若X是一個實隨机變量,則使X為正的樣本輸出的集合{ω∈Ω:X(ω)>0}是一個事件。

為簡便起見,{ω∈Ω:X(ω)>0}經常只寫作{X>0}。P({X>0})更被簡化為P(X>0)。

獨立

P(AB)=P(A)P(B),則AB兩個事件是独立的。

若任何与隨机變量X有關的事件和任何与隨机變量Y有關的事件獨立,則XY兩個隨机變量是獨立的。

獨立這個概念是概率論測度論分道扬镳的地方。

互斥

P(AB)=0,则稱AB兩個事件互斥不相交(這個性質要比AB=弱一些,后者是集合不相交的定義)。

若兩個事件AB不相交,則P(AB)=P(A)+P(B)。這個性質可以擴展到由(有限個或者可數無限個)事件組成的事件序列。 但不可數無限個事件組成的事件集合對應的概率与集合元素對應概率之和未必相等,例如若Z正態分佈的隨机變量,則對任意xP(Z=x)=0,但是P(Z是實數)=1。

事件AB的意思是A并且B;事件AB的意思是A或者B.


### Transformer模型中的概率空间概念 在Transformer模型中,概率空间主要体现在自注意力机制(self-attention mechanism)的工作原理上。通过计算查询向量、键向量和值向量之间的相似度得分,并将其转换成概率分布来决定不同位置的重要性权重[^2]。 具体来说,在多头自注意力层内,对于输入序列中的每一个词项都会生成对应的查询(Query)、键(Key)以及值(Value)。这些向量经过线性变换后参与点积操作得到原始分数矩阵;为了使该分数能够表示相对重要性的比例关系,则需除以根号下维度大小并施加softmax函数,从而形成一个归一化的概率分布——即所谓的“注意力权重”。这一过程有效地定义了一个离散的概率空间,其中每个可能的位置都被赋予了一定的可能性去影响当前词语的理解。 这种基于概率空间允许模型动态调整关注焦点,使得远距离依赖关系得以捕捉的同时也增强了表达能力。此外,当涉及到解码阶段时,通常还会采用采样方法从预测词汇表所构成的巨大输出空间里选取最有可能的结果作为最终翻译或生成的内容之一。 ```python import torch import math def scaled_dot_product_attention(query, key, value): d_k = query.size(-1) scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(d_k) # 计算点积并缩放 p_attn = F.softmax(scores, dim=-1) # 应用Softmax获得概率分布 output = torch.matmul(p_attn, value) # 加权求和获取输出 return output, p_attn # 返回结果及注意力权重 ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值