另外一个理解多项分布的方法

最新推荐文章于 2023-10-14 01:22:57 发布
最新推荐文章于 2023-10-14 01:22:57 发布
阅读量474 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： python
原文链接：https://my.oschina.net/dancing/blog/186163
本文详细解读了多项分布概率公式的来源和应用，从组合数学中的多项式定理出发，逐步推导出多项分布的概率公式，并通过实例说明其在实际场景中的应用。

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

多项分布概率公式的理解


多项分布是二项分布的推广。二项分布（也叫伯努利分布）的典型例子是扔硬币，硬币正面朝上概率为p, 重复扔n次硬币，k次为正面的概率即为一个二项分布概率。而多项分布就像扔骰子，有6个面对应6个不同的点数。二项分布时事件X只有2种取值，而多项分布的X有多种取值，多项分布的概率公式为  

P(X1=x1,⋯,Xk=xk)={n!x1!,⋯,xk!px1⋯pxkwhen∑ki=1xi=n0otherwise.
 这个公式看上去像是莫名其妙地冒出来的，想要了解它首先必须要知道组合数学中的多项式定理。

多项式定理：当n是一个正整数时,我们有  

(x1+x2+…+xk)n=∑n!r1!r2!⋯rk!xr11…xrkk
 其中 r1+…rk=n,ri≥0,1≤i≤k 。

这个多项式定理的推导如下，将式子左边展开  

(x1+x2+…+xk)n=(x1+x2+…+xk)⋯(x1+x2+⋯+xk)
 上面的式子是由 n个因子相乘得到，而它的展开式可以看做在每个式子里选取某一个 xi，总共选取 n 个 xi相乘，所以所有的展开式项都会有  

xr11xr22…xrkk
 这样的公有项，而且 r1+…rk=n。

这样的话，我们可以把问题看成在n个式子里，先选取r1 个x1，然后选取r2个x2，最后选取rk个xk，然后求有多少种方法。类似把n 个球放到k个不同的盒子里的方法有多少种,我们得到  

Cr1,r2,…rkn=Cr1nCr2n−r1…Crkn−r1…−rk−1=n!r1!r2!…rk!
   所以 xr11xr22…xrkk的系数为 Cr1,r2,…rkn，这样，我们就能得到展开式的通式。举个例子，当 k=2时，我们就得到了常见的二项式公式：

(a+b)n=∑i=0nCinaibn−i

再来看之前的多项分布的概率公式，假设 X1,X2,…,Xk 发生的概率为 p1,p2,…,pk，由于事件之间是相互独立的，可得p1+p2+…+pk=1。 我们将p1+p2+…+pk=1式子的左边看做一次抽样各种事件发生的概率和，那么(p1+p2+…+pk)n=1n=1则是进行了n 次抽样所有事件相互组合的对应概率和。把这个多项式展开，它的每一项都对应着一个特殊事件的出现概率。我们把展开式的通项作为X1出现x1 次，X2出现x2次，…，Xk出现xk次的这种事件的出现概率，这样就得到了多项分布的概率公式。

转载于:https://my.oschina.net/dancing/blog/186163

高斯分布混合模型：一种基于概率分布的聚类方法 Gaussian mixture model (GMM) explained
AI天才研究院
09-15 2663
Gaussian mixture model (GMM) 是一种基于概率分布的聚类方法，可以用来描述高维数据集中数据的分布情况。该方法通过假设每个数据点都是由多个高斯分布混合而成的多元高斯模型，利用EM算法来迭代优化模型参数使得数据点属于各个高斯分布的可能性最大化。因此，GMM是一种非监督学习方法，不需要标签信息即可训练出聚类效果，是一种典型的无监督学习算法。本文将对GMM进行系统、全面、浅显易懂的讲解，希望能够帮助读者快速理解GMM的工作机制，掌握GMM的应用。
让我爽爽-深入理解正态分布（高斯分布）本质
让我爽爽的博客
05-30 1229
深入理解正态分布本质-同均值方差不确定性微观物的累加作用于整体形成的不确定性分布，具有相当的稳定性，是熵增的必然结果
学习笔记——机器学习--多项式分布及Softmax回归模型推导
liuyhoo
08-09 2700
在一个多分类问题，预测变量yyy可以取kkk个离散值中的任何一个，即y∈{1,2,⋯,k}y∈{1,2,⋯,k}y\in \{1,2,\cdots ,k\}。 例如：在一个邮件分类系统将邮件分为私人邮件，工作邮件和垃圾邮件。由于yyy仍然是一个离散值，这种多分类问题，二分类模型在这里不太适用。 多分类问题符合多项分布。有许多算法可用于解决多分类问题，像决策树、朴素贝叶斯等。本文主要讲解多分类算...
二项分布和多项分布
热门推荐
shuimu12345678的专栏
06-14 2万+
二项分布： 做n
《人人都会数据分析》笔记：多项分布及其实际应用场景
weixin_44649331的博客
04-11 1870
多项分布 多项分布是二项分布的推广。多项分布的试验结果多于两个。例如足球比赛有：胜、平、负。 性质 （1）每次多项分布的试验结果有N种可能，但是只会出现一种结果。 （2）每次试验，每种结果都有各自发生的概率，所有结果发生的概率和为100%。 （3）各次试验相互独立，每次实验中结果概率都不会受影响。 公式 假设某个多项分布试验可能发生的结果数目为k（1，2....k）。根据历史数...
多项分布-概率分布函数公式推导
qq_46396470的博客
10-14 2402
是n次试验中，子事件【k】发生的次数，那么在n次试验中，这样的组合共出现了多少次？也就是该通项的系数了，系数怎么求呢？你会觉得很突兀，这是个什么东西！看到了这，我们不经会问，这个叫【二项分布】，那么【多项分布】会不会与这个高度相似呢？即n个因子相乘，此时我们将每一个乘积项看作是一次独立的试验，那么整个表达式就是表达n重独立的试验。除此之外，它为什么叫【二项分布】，其实是因为它的形式，高度相像于二项式展开的【通项】那么到此，我相信你不会再觉得【多项分布】公式的出现是很突兀的了。上述公共项中，其中【
关于二项分布和多项分布的理解
weixin_33885676的博客
01-29 329
转载于:https://www.cnblogs.com/meow371/p/5169980.html
伯努利分布、二项分布、Beta分布、多项分布和Dirichlet分布与他们之间的关系，以及在LDA中的应用
pymnn的博客
07-28 2277
在看LDA的时候，遇到的数学公式分布有些多，因此在这里总结一下思路。 一、伯努利试验、伯努利过程与伯努利分布 先说一下什么是伯努利试验： 维基百科伯努利试验中： 伯努利试验(Bernoulli trial)是只有两种可能结果的单次随机试验。 即：对于一个随机变量而言，P(X=1)=p以及P(X=0)=1-p。一般用抛硬币来举例。另外，此处也描述了伯努利过程： 一个伯努利过程（Bernoulli process）是由重复出现独立但是相同分布的伯努利试验组成，例如抛硬币十次。 维基百科..
2016高考数学大一轮复习12.5二项分布及其应用教师用书理苏教版
08-06
另外，如果考虑一个系统由多个部件组成，每个部件有独立的正常工作概率，那么系统整体正常工作的概率可以通过计算所有可能情况下的概率之和来确定，这也可以用到条件概率和独立事件的概念。 在实际考试中，学生需要...
数学高考复习点拨_二项分布与超几何分布辨析.doc
09-20
在实际问题中，如生产线质量抽检，我们可能需要考虑二项分布来预测在多次独立检查中不合格产品的数量。而在社区调查中，如低碳生活的普及，超几何分布可以帮助我们估算特定人群中符合某种特征的人数比例。 在数学...
多项分布
tbinjiayou
04-01 8986
多项分布的概念 多项分布是最重要的离散型多维分布，假设A1,A2,...,An是某一试验下的完备事件群，即事件两两互斥，且其和为必然事件（即每次试验有且仅有一个事件Ai发生），分别以p1,p2,...,pn记为事件A1,A2,...,An发生的概率，pi>0，p1+p2+...+pn=1。现将试验独立重复N次，以Xi记为在N次试验中事件Ai出现的次数，X=(X1,X2,...,Xn)为n维随机向
UA MATH564 概率论 多项分布
一个不愿透露姓名的博客
07-05 528
UA MATH564 概率论 多项分布
二项分布与多项分布
白马负金羁
07-06 6292
二项分布（Binomial distribution）即重复n次独立的伯努利试验，而多项分布（Multinomial distribution）则是二项分布的的推广。它们都是重要的离散型概率分布模型，而且在很多机器学习模型的推导中亦都有应用
概率统计13——二项分布与多项分布
我是8位的
12-28 1万+
原文 |https://mp.weixin.qq.com/s/bOchsmHTINKKlyabCQKMSg 相关阅读 最大似然估计(概率10) 寻找“最好”（3）函数和泛函的拉格朗日乘数法 伯努利分布 　　如果随机试验仅有两个可能的结果，那么这两个结果可以用0和1表示，此时随机变量X将是一个0/1的变量，其分布是单个二值随机变量的分布，称为伯努利分布。注意伯努利分布关注的是结果只有0和...
伯努利分布和多项分布
weixin_46744571的博客
10-09 854
参考资料：《深度学习》3.9.1-3.9.2 伯努利分布 伯努利分布（Bernoulli distribution）：是单个二值随机变量的分布。 性质： P(x=1)=ϕP(x=0)=1−ϕp(x=n)=ϕn(1−ϕ)1−nE(x)=ϕVar(x)=ϕ(1−ϕ) P(x=1)=\phi\\ P(x=0)=1-\phi\\ p(x=n)=\phi ^n(1-\phi )^{1-n}\\ E(x)=\phi\\ Var(x)=\phi (1-\phi) P(x=1)=ϕP(x=0)=1−ϕp(x=n)=ϕ.
多项式分布的理解概率公式的理解
逐梦年华~Apache_xiaochao
06-13 2万+
多项式分布概率公式的理解 多项分布是二项分布的推广。二项分布（也叫伯努利分布）的典型例子是扔硬币，硬币正面朝上概率为, 重复扔次硬币，次为正面的概率即为一个二项分布概率。而多项分布就像扔骰子，有6个面对应6个不同的点数。二项分布时事件只有2种取值，而多项分布的有多种取值，多项分布的概率公式为    这个公式看上去像是莫名其妙地冒出来的，想要了解它首先必须要知道组合数学中的多
概率分布（多项分布，Dirichlet分布）
deropty's blogs
12-11 1万+
概率论的一些基本概念
检测一个pyspark df有没有重复项
最新发布
08-19
<think>我们有一个PySpark DataFrame，需要检测其中是否存在重复行。 重复行指的是所有列的值都相同的行，或者指定列的值相同的行。 根据引用[3]中的示例，我们可以看到如何创建一个DataFrame并处理重复数据。 在PySpark中，我们可以使用以下方法检测重复行： 1. 使用`count()`和`distinct()`比较行数：如果去重后的行数小于原始行数，则存在重复。 2. 使用`dropDuplicates()`后比较行数。 3. 使用分组计数，然后检查是否有任何组的计数大于1。 但注意：我们只需要检测是否存在重复，而不需要找出所有重复的行。 方法一：比较原始行数和去重后的行数 - 原始行数：`df.count()` - 去重后的行数：`df.distinct().count()` - 如果`df.count() > df.distinct().count()`，则存在重复。 方法二：如果我们只关心某些列的重复，可以在这些列上做去重，然后比较行数。但这里我们要求检测整个行的重复。 然而，用户的问题没有指定是全部列还是部分列。因此，我们先按整个行重复来考虑。 但是，如果数据量很大，`distinct()`操作可能会引起shuffle，性能可能不是最优。我们可以考虑另一种方法：使用分组和聚合，检查是否有任何重复。 方法三：使用`groupBy`所有列，然后对每一组计数，然后过滤出计数大于1的组，然后检查是否有这样的组。 - `df.groupBy(df.columns).count().filter("count > 1").limit(1).count() > 0` - 如果大于0，则存在重复。 但是，这种方法需要计算所有重复组，而我们只需要知道是否存在至少一个重复。因此，我们可以使用`limit(1)`来优化，即只要找到一个重复组就停止。 然而，在Spark中，`groupBy`操作也会引起shuffle，而且需要计算所有列的组合。如果列很多，可能也不高效。 因此，最简单且直观的方法是方法一：比较总行数和去重后的行数。 但是，注意：`distinct()`会返回一个新的DataFrame，它包含所有不同的行，这个操作可能会比较重，特别是当数据量很大时。 另一种更轻量的方法是：给每一行添加一个自增id（使用monotonically_increasing_id），然后检查是否有两行所有列的值都相同，但id不同？这样其实更复杂。 实际上，我们只需要知道是否存在重复，而不需要知道具体哪些行重复。我们可以这样优化方法一：不去计算整个去重后的DataFrame的行数，而是只计算是否有重复。 我们可以这样做： - 计算原始行数：`total_count = df.count()` - 计算去重后的行数：`distinct_count = df.distinct().count()` - 然后比较。 但是，如果数据量很大，`distinct().count()`也会触发一个shuffle操作，并且需要计算整个去重后的行数。 方法三的优化：我们只需要知道是否存在重复，所以我们可以： - 对原始DataFrame进行去重，得到df_distinct - 然后检查df_distinct的行数是否小于原始行数：`df_distinct.count() < df.count()` 或者，我们可以使用`groupBy`然后使用`agg`配合`count`，然后使用`filter`和`first`来检查是否存在至少一个重复组，这样我们不需要计算所有重复组，只需要找到一个即可。 具体步骤： - 使用所有列进行分组，然后对每个分组计数。 - 然后过滤出计数大于1的分组，取第一个。 - 如果存在第一个，则说明有重复。 代码示例： ```python from pyspark.sql import functions as F # 检查是否有重复行（所有列都相同） duplicate_exists = df.groupBy(df.columns).count().where(F.col("count") > 1).limit(1).count() > 0 ``` 解释：`limit(1)`使得我们只需要找到一个重复组，然后`count()`会返回这个查询结果的行数（0或1），所以如果大于0，则存在重复。 但是，这种方法需要分组，分组操作也会引起shuffle，而且需要计算每个分组的计数，直到找到一个重复组为止。如果重复组在数据的前部，那么很快就能找到；如果在后部，则需要扫描很多数据。 因此，我们也可以考虑使用`take(1)`，这样在找到一个重复组后立即停止。 但是，在Spark中，`limit(1).count()`会触发一个action，并且由于limit(1)的存在，Spark只需要找到一个符合条件的行就会返回，所以效率较高。 所以，我们可以选择这种方法。 但是，如果用户关心的是部分列的重复，那么我们需要指定列名。由于问题中没有指定列，我们默认使用所有列。 因此，我们可以写一个函数，允许用户传入列名（可选），如果不传入，则使用所有列。 步骤总结： 1. 如果指定了列名，则使用指定的列；否则使用所有列。 2. 然后根据这些列进行分组，计算每组的行数。 3. 过滤出行数大于1的组。 4. 检查是否有这样的组（使用limit(1).count()>0）。 但是，注意：如果列很多，分组可能会产生大量的key，影响性能。所以，如果用户只关心部分列，应该指定列名。 现在，我们按照用户的问题，只检测整个DataFrame的重复（即所有列都相同的行）。 因此，我们可以这样写： 代码示例： ```python def has_duplicates(df, columns=None): if columns is None: columns = df.columns # 如果指定的列列表为空，则使用所有列 if not columns: return False # 如果没有列，那么不可能有重复，但这种情况一般不会出现 # 分组并计数 agg_df = df.groupBy(columns).count() # 过滤出计数大于1的组，并取第一个 duplicate_exists = agg_df.filter(agg_df['count'] > 1).limit(1).count() > 0 return duplicate_exists ``` 但是，我们也可以使用另一种方法：`df.count() > df.dropDuplicates(columns).count()`，这样更简洁。 那么，我们也可以这样写： ```python def has_duplicates(df, columns=None): total_count = df.count() if columns is None: distinct_count = df.distinct().count() else: distinct_count = df.dropDuplicates(columns).count() return total_count > distinct_count ``` 这种方法更简单，而且容易理解。但是，它需要计算整个去重后的行数，而前一种方法在找到第一个重复行后就可以停止（如果使用limit(1)的话）。但是，实际上，在Spark中，`distinct()`或`dropDuplicates()`操作需要计算整个数据集，而`groupBy`方法在找到第一个重复行后就可以停止（由于limit(1)），所以理论上第二种方法（使用distinct）可能更慢，尤其是当重复行很早就出现时，使用groupBy方法可以提前结束。 但是，在Spark中，`groupBy`操作需要shuffle，而`distinct()`也是基于shuffle的。而且，`distinct()`操作实际上也是通过groupBy所有列然后计数来实现的（在逻辑计划上等价）。所以，在底层，两者可能都需要shuffle。 因此，我们选择更简单直观的方法：比较行数。 但是，注意：如果数据量很大，`count()`操作可能会比较耗时，而且我们需要两次`count()`（一次原始，一次去重后）。但是，我们无法避免。 另外，如果数据量很大，我们也可以考虑使用近似方法，但这里我们要求精确。 因此，我们给出两种方法，并说明优缺点。 然而，用户的问题只是检测是否存在重复，所以我们可以选择效率更高的方法：即一旦发现重复就停止。所以，使用`groupBy`和`limit(1)`的方法可能更快。 我们选择第二种方法（比较行数）因为代码更简洁，而且逻辑清晰。 但是，我们也可以考虑使用第一种方法（使用groupBy+limit(1)）来避免计算整个去重后的行数。 因此，我们写一个函数，使用第二种方法（比较行数）作为基础，同时提供另一种优化：如果数据量很大，我们可以先采样，但采样不能保证精确。 所以，我们决定使用groupBy+limit(1)的方法，因为它在找到第一个重复后就可以停止，避免全表扫描。 但是，注意：在Spark中，`groupBy`操作需要等待shuffle完成，而`limit(1)`在shuffle后只需要取一个结果，所以如果重复行出现得早，那么shuffle阶段可能不需要处理所有数据（因为Spark的shuffle是分区的，但并不能保证提前结束）。实际上，Spark需要读取所有数据才能进行分组，所以即使有limit(1)，groupBy操作仍然需要处理所有数据，除非在map端进行部分聚合并且提前找到重复行？但并不能保证。 因此，我们可能需要重新考虑。 实际上，在Spark中，`groupBy`操作后跟`filter`再跟`limit(1)`，然后`count()`，这个count操作会触发一个job，该job需要完成整个groupBy操作，然后filter，然后取limit(1)。但是，由于limit(1)的存在，Spark在找到一个结果后就可以停止后续的计算？不一定，因为groupBy需要所有数据才能进行分组，所以实际上需要处理所有数据。 而`distinct().count()`同样需要处理所有数据。 所以，两种方法都需要全表扫描。因此，我们选择代码更简洁的方法：比较行数。 结论：使用比较行数的方法。 但是，我们还需要注意：如果DataFrame为空，那么两次count都是0，则没有重复。 所以，我们写一个函数： ```python def has_duplicates(df, subset=None): total = df.count() if total == 0: return False if subset is None: distinct = df.distinct().count() else: distinct = df.dropDuplicates(subset).count() return total > distinct ``` 这个函数可以处理subset参数，即指定列的子集。 现在，我们根据用户的问题，用户没有指定列，所以我们使用整个行。 示例： ```python # 假设df是我们要检测的DataFrame if has_duplicates(df): print("存在重复行") else: print("不存在重复行") ``` 但是，我们也可以直接写代码而不定义函数： ```python total_count = df.count() distinct_count = df.distinct().count() has_dup = total_count > distinct_count ``` 但是，如果数据量很大，两次count操作可能会比较慢。而且，我们还可以使用缓存来避免重新计算，但这里我们只检测一次。 另外，引用[3]中给出了一个DataFrame去重的例子，使用的是`dropDuplicates`，所以我们的方法也是符合的。 因此，我们回答用户：可以通过比较原始行数和去重后的行数来检测重复。 步骤： 1. 计算DataFrame的总行数：`total_count = df.count()` 2. 计算去重后的行数：`distinct_count = df.distinct().count()` （如果要根据某些列，则使用`df.dropDuplicates(subset).count()`） 3. 比较：如果`total_count > distinct_count`，则存在重复行。 注意：`distinct()`和`dropDuplicates()`都是基于所有列的，而`dropDuplicates(subset)`可以基于指定的列。 所以，我们给出代码示例： 示例代码： ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName("DuplicateCheck").getOrCreate() # 假设df是已有的DataFrame # 计算总行数 total_count = df.count() # 计算去重后的行数 distinct_count = df.distinct().count() if total_count > distinct_count: print("存在重复行") else: print("不存在重复行") ``` 如果用户想根据特定列检测重复，可以这样： ```python # 指定列名列表 subset_columns = ["col1", "col2"] distinct_count_subset = df.dropDuplicates(subset_columns).count() if total_count > distinct_count_subset: print(f"在列{subset_columns}上存在重复") ``` 注意：`dropDuplicates(subset)`会根据subset指定的列进行去重，保留第一次出现的行。 另外，我们也可以使用`groupBy`方法，但这里我们采用更直接的方法。 最后，我们生成相关问题。 根据用户的问题，我们生成了检测重复的方法，那么相关问题可以围绕重复数据的处理展开。 相关问题： 1. 如何删除PySpark DataFrame中的重复数据？ 2. 如何统计PySpark DataFrame中重复行的数量？ 3. 如何根据部分列删除重复数据，同时保留第一次出现（或最后一次出现）的行？ 因此，我们回答如下：</think>### 检测 PySpark DataFrame 重复数据的方法 在 PySpark 中，检测 DataFrame 是否存在重复数据可通过以下方法实现： #### 1. **全列重复检测**（所有列值相同） ```python # 方法1：比较总行数与去重后行数 total_count = df.count() distinct_count = df.distinct().count() has_duplicates = total_count > distinct_count # True表示存在重复 # 方法2：分组计数检测 from pyspark.sql import functions as F has_duplicates = df.groupBy(df.columns).count() \ .filter(F.col("count") > 1) \ .limit(1).count() > 0 ``` #### 2. **指定列重复检测**（部分列值相同） ```python # 指定检测列（例如"id"和"age"） target_columns = ["id", "age"] # 方法1：按列去重比较 subset_distinct = df.dropDuplicates(target_columns).count() has_subset_duplicates = total_count > subset_distinct # 方法2：分组计数检测 has_subset_duplicates = df.groupBy(target_columns).count() \ .filter(F.col("count") > 1) \ .limit(1).count() > 0 ``` #### 执行示例 ```python # 创建示例DataFrame（含重复数据） from pyspark.sql import SparkSession spark = SparkSession.builder.appName("dupDemo").getOrCreate() data = [(1, "A"), (1, "A"), (2, "B"), (3, "C")] df = spark.createDataFrame(data, ["id", "type"]) # 检测全列重复 print("全列重复:", df.count() > df.distinct().count()) # 输出 True # 检测单列重复（仅id列） print("id列重复:", df.count() > df.dropDuplicates(["id"]).count()) # 输出 False ``` #### 方法说明 1. **`distinct()` + `count()`** 通过比较原始数据与去重后数据的行数差异判断重复性，适合快速检测全列重复[^3]。 2. **`groupBy()` + 聚合计数** 精确检测重复组，可通过`.limit(1)`优化性能（发现首个重复即终止扫描）[^1]。 3. **`dropDuplicates(subset)`** 针对指定列去重，结合`count()`实现部分列重复检测[^3]。 > ⚠️ **性能提示**：大数据集优先使用`groupBy().limit(1)`，避免全量`distinct()`的shuffle开销[^4]。 --- ### 相关问题 1. 如何删除 PySpark DataFrame 中的重复数据并保留首次出现的记录？ 2. 如何统计重复行的具体数量及其分布情况？ 3. 在流处理场景中如何实时检测 Kafka 输入数据的重复项？ 4. 如何结合窗口函数处理时间序列数据的重复检测？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值