Spark API 之 countApproxDistinct 函数

最新推荐文章于 2024-01-30 23:48:01 发布
最新推荐文章于 2024-01-30 23:48:01 发布
阅读量468 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： sparkAPI使用案例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_29499107/article/details/80883366
本文介绍如何使用countApproxDistinct方法计算RDD中元素的大致数量并去除重复项。该方法接受一个精度参数x，x越小计算越精确。通过几个示例展示了不同精度设置下计算结果的变化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

java面试题网站：www.javaoffers.com

countApproxDistinct（x）:计算Rdd中元素的大约个数，并且去重，x代表精度，x越小代表计算的月仔细。 

demo代码：

val r1 = sc.parallelize(1 to 10000,20)


r1.countApproxDistinct(0.1)  输出的结果： Long = 8224


r1.countApproxDistinct(0.02) 输出的结果： Long = 9916


r1.countApproxDistinct(0.001)输出的结果： Long = 10000

Spark-RDD API
阿里Darker
05-10 2480
EnglishThe RDD API By ExampleaggregateThe aggregate function allows the user to apply two different reduce functions to the RDD. The first reduce function is applied within each partition to reduce the
spark常用函数
大牛牛
09-22 4859
! ! expr -逻辑非 . % expr1 % expr2 -在expr1/expr2之后返回剩余的部分. Examples: > SELECT 2 % 1.8; 0.2 > SELECT MOD(2, 1.8); 0.2 & expr1 & expr2 -返回和expr1和expr2的结果. Examples: > SELECT 3 & 5; 1 ...
Spark API 之 countApproxDistinct
qq_29499107的博客
06-27 1716
countApproxDistinct（jdz):该函数是用来计算去重后的值的大约个数，jdz： 该参数是用来规定值之间的相似度（精度值），值与值之间的相似度（精度）达到 jdz, 则将其看作是一样的值。jdz越小说明值与值之间越相似。控制在 0到0.4（不包括）之间。demo1: val rdd1 = sc.parallelize(List("a","b","c","d",...
spark RDD countApproxDistinct
lovemelovemycode的专栏
01-18 2694
package com.latrobe.spark import org.apache.spark.{SparkConf, SparkContext} /** * Created by spark on 15-1-18. * countApproxDistinct : RDD的一个方法，作用是对RDD集合内容进行去重统计。 * 该统计是一个大约的统计，参数relativeSD控制统计的精
Spark Sql之count(distinct)分析&&学习&&验证
南风知我意
08-27 5449
先说结论：spark sql和hive不一样，spark对count(distinct)做了group by优化 >在hive中count(). >hive往往只用一个 reduce 来处理全局聚合函数，最后导致数据倾斜；在不考虑其它因素的情况下，我们的优化方案是先 group by 再 count ...
【SparkAPI JAVA版】JavaPairRDD——countApprox、countApproxDistinct、countApproxDistinctByKey （十一）
菜鸟sdut的博客
03-20 379
JavaPairRDD的context方法讲解 官方文档 /** * Approximate version of count() that returns a potentially incomplete result * within a timeout, even if not all tasks have finished. * * The confidence i...
count distinct在spark中的运行机制
1
12-25 1636
现在所有行可以合并成一个partition，再次HashAggregation，但这次不用group by product, category和gid现在再也没有重复值了，简单的count和根据gid筛选就可以得到想要的count distinct结果。
Apache Spark API 实例指南
"Spark API 手册是一份用于指导开发者编写Spark应用程序的参考文档，由Matthias Langer和Zhen He编著。手册详细介绍了Spark的命令参考和RDD（弹性分布式数据集）API，是初学者的重要参考资料。" Apache Spark API ...
Apache Spark API详解与实战指南
"Spark API Master 是一份针对初学者的Apache Spark API命令参考，由Matthias Langer和Zhen He撰写。这份文档详尽地介绍了Spark的RDD（弹性分布式数据集）API，提供了如何配置Spark Shell、调整内存和工作线程，以及...
Spark API入门指南：初学者实用命令详解
3. **其他方法**：除了上述操作，还包括`compute`用于执行用户自定义函数，`context`和`sparkContext`是Spark编程中的核心对象，以及一系列关于统计分析的函数，如`countApproxDistinct`和`countApproxDistinctByKey...
Apache Spark API 深入解析与实践指南
"Apache Spark API 详解：初学者的命令参考" Spark 是一个流行的开源大数据处理框架，以其高效、易用和灵活性而受到广泛的欢迎。Spark 提供了一种基于 Resilient Distributed Datasets (RDD) 的编程模型，使得数据...
Hive Sql – Multi Distinct（多个distinct在同一个query中） 优化
01-07
背景 当多个 distinct 操作同时出现在 select 中，数据会分发多次。容易造成Reduce数据倾斜 优化点 1、如果不要求精确值，可以使用 spark-sql approx_count_distinct函数 （基数计数 hyperloglog） 2、修改SQL 基础数据准备如下， 需要计算 不同渠道下的 不同周期 的访问uv presto:bi> desc tmp.multi_distinct_test; Column | Type | Extra | Comment ---------+---------+-------+---------- user_id | bi
oracle12c approx_count_distinct
jc_benben的专栏
03-24 767
SQL> alter session set container=pdb1; 会话已更改。 SQL> create table t1 as select level as data from dual connect by level<=10000; 表已创建。 SQL> insert /*+ APPEND */ into t1 select a.data from t1 a cross
Oracle 12c 新特性(2)_Approximate Count Distinct
handan725的专栏
09-29 629
Oracle 12 new feature
Spark Sql 函数详解
weixin_43956381的博客
12-10 2216
1.聚合函数 approx_count_distinct count_distinct近似值 avg 平均值 collect_list 聚合指定字段的值到list collect_set 聚合指定字段的值到set corr 计算两列的Pearson相关系数 count 计数 countDistinct 去重计数 SQL中用法 select count(distinct class) ...
Hive｜Spark 函数详解
半吊子Kyle的博客
04-10 1792
Hive｜Spark 函数详解基本比较运算函数=、==!!=、<><=><、<=>、>=特殊比较运算函数BETWEENIS [NOT] NULLIN基本数学运算函数+ 基本比较运算函数 注意: 在比较比较运算函数中, 对于一些可能存在为 NULL 的情况, 一定要增加逻辑判断和处理 =、== expr1 = expr2 - 如果 expr1 equals expr2 则返回 true , 否则返回 false ① 为 NULL 的情况 如果 expr1
pyspark学习-spark.sql.functions 聚合函数
最新发布
天天学习的博客
01-30 884
"""作用:返回该组第一个数值,和groupBy合用，会显示分组之后，各个组的第一个场景:参数:col:列名ignorenulls：是否忽略控制返回:column:返回该组第一个数值""""""作用:返回该组第最后一个数值,和groupBy合用，会显示分组之后，各个组的最后一个场景:参数:col:列名ignorenulls：是否忽略控制返回:column:返回该组第最后一个数值"""print("按照age排序前")print("按照age倒排序后")#last。
Spark 系列（十一）—— Spark SQL 聚合函数 Aggregations
weixin_30629653的博客
08-14 995
一、简单聚合 1.1 数据准备 // 需要导入 spark sql 内置的函数包 import org.apache.spark.sql.functions._ val spark = SparkSession.builder().appName("aggregations").master("local[2]").getOrCreate() val empDF = spark.re...
使用Presto SQL一些常见问题总结
weixin_33923762的博客
03-08 9942
查询速度慢, 如何优化? 解决方法1: 避免单节点处理 虽然Presto是分布式查询引擎, 但是一些操作是必须在单节点中处理的. 例如: count(distinct x) 考虑使用approx_distinct(x)代替 但是需要注意这个函数有个大约在2.3%的标准误差, 如果需要精确统计的情况, 请绕道. UNION UN...
Scala版本Spark API文档压缩包下载
通过 Scala，Spark API 可以充分利用函数式编程的优势，例如使用匿名函数、高阶函数等。这种结合让 Scala 开发者可以更加方便地利用 Spark 的功能。 4. Spark 版本和 Scala 版本的兼容性 Spark API 文档支持的是 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值