RDD用法与实例（四）：蒙特卡洛法计算pi并利用mapPartitionsWithIndex进行优化

水母君98

于 2020-09-27 13:09:53 发布

阅读量222

点赞数

分类专栏：大数据基础文章标签： python spark 大数据

本文链接：https://blog.youkuaiyun.com/m0_37754282/article/details/108825696

版权

大数据基础专栏收录该内容

17 篇文章

订阅专栏

本文介绍了一种利用Apache Spark并行计算能力来估算π值的方法。通过两种不同的随机数生成策略对比，展示了如何提高随机性以获得更准确的估算结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# From the official spark examples.

import random

partitions = 1000
n = 1000 * partitions

def f(_):
    x = random.random()
    y = random.random()
    return 1 if x ** 2 + y ** 2 < 1 else 0

count = sc.parallelize(range(1, n + 1), partitions) \
          .map(f).sum()

print("Pi is roughly", 4.0 * count / n)

法二：

# Correct version
import random
import time

partitions = 1000
n = 1000 * partitions

seed = time.time()

def f(index, it):
    random.seed(index + seed)
    for i in it:
        x = random.random()
        y = random.random()
        yield 1 if x ** 2 + y ** 2 < 1 else 0

count = sc.parallelize(range(1, n + 1), partitions) \
          .mapPartitionsWithIndex(f).sum()

print("Pi is roughly", 4.0 * count / n)

区别：
法一的random.random是同一个seed，随机性不够大。
法二是根据时间和分区区号产生seed，随机性比法一更好。