Spark实例演示之SparkPi

最新推荐文章于 2025-06-16 13:27:33 发布

kaiseu

最新推荐文章于 2025-06-16 13:27:33 发布

阅读量8.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/Kinger0/article/details/44870779

spark 专栏收录该内容

12 篇文章

订阅专栏

本文展示了如何使用Spark进行Pi的近似计算。通过创建SparkConf，设置appName和master，然后创建SparkContext。代码中计算了随机点落在单位圆内的比例，乘以4即为Pi的近似值。最后，启动Spark集群执行任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.贴上源码

object SparkPi {

def main(args: Array[String]) {

val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://hadoop1:7077").setJars(List("/home/kaiseu/MyProject/IdeaProjects/week2/out/artifacts/week2/week2.jar"))

val spark = new SparkContext(conf)

val slices = if (args.length > 0) args(0).toInt else 2

val n = 100000 * slices

val count = spark.parallelize(1 to n, slices).map { i =>

val x = Math.random * 2 - 1

val y = Math.random * 2 - 1

if (x * x + y * y < 1) 1 else 0

}.reduce(_ + _)

println("Pi is rounghly " + 4.0 * count / n)

spark.stop()