spark Java 取样算子(sample,takesample)

本文介绍了Spark Java中用于数据采样的`sample`和`takesample`算子。`sample`参数接收的是比例值,而`takesample`则接收具体的取样数量。通过这两个方法,可以有效地从大规模数据集中抽取样本数据进行分析。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

sample 和takesample 区别
sample 参数中获取的是数据的比例
takesample 参数中 获取的是取样的个数

代码

ArrayList<Integer> list1 = new ArrayList<Integer>();
        list1.add(1);
        list1.add(2);
        list1.add(3);
        list1.add(4);
        list1.add(3);
        list1.add(6);

        JavaRDD<Integer> parallelize = sc.parallelize(list1);

        parallelize.sample(false, 0.5).foreach(new VoidFunction<Integer>() {
            @Override
            public void call(Integer integer) throws Exception {

                System.out.println(integer);
            }
        });

        List<Integer> integers = parallelize.takeSample(false, 3);

        for (Integer integer: integers){

            System.out.println(integer);
        }

结果1:
3
4
6

结果2:
1
3
6
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值