Spark 自带Demo(计算圆周率)的运行

最新推荐文章于 2025-06-20 12:09:50 发布
原创 最新推荐文章于 2025-06-20 12:09:50 发布 · 3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Spark

本文介绍了如何在Ubuntu系统上运行Spark自带的计算圆周率的Demo。首先，确认Spark安装在/usr/local/Spark路径下，接着进入bin目录，然后在examples目录中找到并运行计算圆周率的示例程序，通过简单的命令行操作，大约耗时0.7秒完成计算，展示了Spark快速处理数据的能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本人Spark 安装路径：/usr/local/Spark

（1）进入Spark安装目录；

（2）注意到该目录下有bin目录和examples目录，提交命令被放置于bin目录中，计算圆周率的示例放置于examples中

        安装目录下输入下面的指令:

bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.2.1.jar

（3）键入回车，得到下面的输出结果：

        大约耗时0.7秒

        

        全部输出如下：

18/05/05 16:08:41 INFO spark.SparkContext: Running Spark version 2.2.1
18/05/05 16:08:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
18/05/05 16:08:42 INFO spark.SparkContext: Submitted application: Spark Pi
18/05/05 16:08:42 INFO spark.SecurityManager: Changing view acls to: cims
18/05/05 16:08:42 INFO spark.SecurityManager: Changing modify acls to: cims
18/05/05 16:08:42 INFO spark.SecurityManager: Changing view acls groups to: 
18/05/05 16:08:42 INFO spark.SecurityManager: Changing modify acls groups to: 
18/05/05 16:08:42 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(cims); groups with view permissions: Set(); users  with modify permissions: Set(cims); groups with modify permissions: Set()
18/05/05 16:08:42 INFO util.Utils: Successfully started service 'sparkDriver' on port 36623.
18/05/05 16:08:42 INFO spark.SparkEnv: Registering MapOutputTracker
18/05/05 16:08:42 INFO spark.SparkEnv: Registering BlockManagerMaster
18/05/05 16:08:42 INFO storage.BlockManagerMasterEndpoint: Using org.apache.spark.storage.DefaultTopologyMapper for getting topology information
18/05/05 16:08:42 INFO storage.BlockManagerMasterEndpoint: BlockManagerMasterEndpoint up
18/05/05 16:08:42 INFO storage.DiskBlockManager: Created local directory at /usr/local/spark/blockmgr-d2b44b19-3fd0-4f27-ade8-6de1fc445951
18/05/05 16:08:42 INFO memory.MemoryStore: MemoryStore started with capacity 366.3 MB
18/05/05 16:08:42 INFO spark.SparkEnv: Registering OutputCommitCoordinator
18/05/05 16:08:43 INFO util.log: Logging initialized @2001ms
18/05/05 16:08:43 INFO server.Server: jetty-9.3.z-SNAPSHOT
18/05/05 16:08:43 INFO server.Server: Started @2091ms
18/05/05 16:08:43 INFO server.AbstractConnector: Started ServerConnector@596df867{HTTP/1.1,[http/1.1]}{0.0.0.0:4040}
18/05/05 16:08:43 INFO util.Utils: Successfully started service 'SparkUI' on port 4040.
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@425357dd{/jobs,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@52eacb4b{/jobs/json,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@2a551a63{/jobs/job,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@ec2bf82{/jobs/job/json,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@6cc0bcf6{/stages,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@32f61a31{/stages/json,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@669253b7{/stages/stage,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@49a64d82{/stages/stage/json,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@66d23e4a{/stages/pool,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@4d9d1b69{/stages/pool/json,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@251f7d26{/storage,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@52d10fb8{/storage/json,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@1fe8d51b{/storage/rdd,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@22680f52{/storage/rdd/json,null,AVAILABLE,@Spark}
18/05/05 16:08:43 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandle
最低0.47元/天 解锁文章

200万优质内容无限畅学
Spark PI demo with spark-on-k8s-operator
zhixingheyi_tian的博客
04-09 1150
安装 spark-on-k8s-operator helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator helm install incubator/sparkoperator --namespace spark-operator NAME: eponymous-flee LAST D...
运行hadoop自带的计算圆周率异常
01-23 1004
运行hadoop2自带的圆周率计算方法时，报错，找了半天，原来是在配置hadoop临时目录时，没有给权限，找到配置的hadoop临时目录文件夹，修改权限即可 Application application_1548242073562_0005 failed 2 times due to AM Container for appattempt_1548242073562_0005_...
Spark 测试程序计算圆周率
Running_Tiger的博客
03-06 3100
Spark 测试程序计算圆周率1. 普通模式提交任务该算法是利用蒙特·卡罗算法求圆周率PI，通过计算机模拟大量的随机数，最终会计算出比较精确的π。bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://node-1:7077 \ --executor-memory 1G \ --total-exe
spark-圆周率
山海
07-22 547
计算圆周率： bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://node01:7077 \ --executor-memory 1G \ --total-executor-cores 2 \ examples/jars/spark-examples_2.11-2.0.2.jar \ 10 ...
大数据技术之Spark
最新发布
2301_82162165的博客
06-20 1069
Spark是什么定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。Spark最早源于一篇论文 Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing， 该论文是由加州大学柏克莱分校的 Matei Zaharia 等人发表的。论文中提出了一种弹性分布式数据集（即 RDD）的概念。
运行Spark提供的计算圆周率的示例程序
chuowen140381的博客
07-19 1060
1、启动Spark服务 因为spark是依赖于hadoop提供的分布式文件系统的，所以在启动spark之前，先确保hadoop在正常运行。 在hadoop正常运行的情况下，在master（也就是hadoop的namenode，spark的marster节点...
用spark计算圆周率
weixin_42611177的博客
02-10 797
可以使用Spark计算圆周率，可以通过使用蒙特卡洛方法来实现。该方法通过随机生成点并统计这些点是否落在单位圆内，来估算圆周率的值。 您可以在Spark上并行生成随机点，并在分布式环境中统计它们。最后，将统计结果汇总计算出圆周率的值。 以下是一个示例代码(使用Scala)： import org.apache.spark.{SparkConf, SparkContext} import scala....
运行示例sparkPi计算圆周率（1.1）
11-01 3551
1  启动spark (1) 启动hadoop 启动成功master节点进程： Slave节点进程： (2) 启动spark（注意路径） 启动成功：   Slave1和slave2的进程如下：   2  将sparkPi.scala添加进工程 3  Idea会自动读取src/org/apache/spark/examples下的scala文件
Spark 自带 demo 的学习总结
Tardis1的专栏
09-02 950
1. the way that to build the RDD (1) generate from the folder : offer the folder path which has been upload the hdfs SparkSession spark = SparkSession .builder() .appName("JavaHdfsLR"
Spark实现PI圆周率计算
qq_42155078的博客
05-11 1214
1.采用蒙特卡洛概率的方法计算Pi圆周率 以中心点为圆心，圆的半径为1，圆的面积之比与正方形的面积之比为：π/4那么我们可以通过落入圆形中的点数占的比例来估计π的值 利用Spark进行代码实现： object Demo13_Pi { def main(args: Array[String]): Unit = { val list: Seq[Int] = 0 to 1000000 //创建spark 环境 val conf: SparkConf = new Spark
spark-demo:Spark演示
05-16
Spark演示 使用来自现代艺术博物馆（MoMA）馆藏的数据（github ） momadm. (2015). collection: First release - revised. Zenodo. 10.5281/zenodo.21147 要通过Docker映像运行，请设置Docker然后调用 docker run -i -t -p 8888:8888 freemanlab/sparkdemo 并将您的浏览器指向' '（Linux）或' OS X）
SparkDemo, spark示例代码，有一些生产实践.zip
09-17
SparkDemo, spark示例代码，有一些生产实践 SparkDemo我们还提供了一些实际的案例，这些案例是对真实场景的抽象，展示了一个实际项目开发需要考虑的问题，这些案例经过了充分测试，读者完全可以在实际项目中参考。hadoop: 2.6.0火花：1.6.1集群的搭建方式
spark π计算的java实现
05-18
spark 是基于内存的计算框架，在集群中即使计算10000次pi也很快，这是他的java实现，希望对大家有所帮助
spark demo 运行
MusicDancing的博客
04-07 2407
1. package com.zz.spark.sparksql import org.apache.spark.sql.{DataFrame, SparkSession} /** * 自定义DataFrame注册成数据表，查询数据表 */ object Demo1 { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName(
spark入门demo
weixin_41121457的博客
05-13 1661
直接上代码 import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.VoidFunction; import ja...
【Spark分布式内存计算框架——Spark 基础环境】3. 快速入门（下）案例：词频统计、 运行圆周率
优快云GuoYuying的博客
02-05 729
在Spark数据结构RDD中reduceByKey函数，相当于MapReduce中shuffle和reduce函数合在一起：按照Key分组，将相同Value放在迭代器中，再使用reduce函数对迭代器中数据聚合。Spark框架自带的案例Example中涵盖圆周率PI计算程序，可以使用【$SPARK_HOME/bin/spark-submit】提交应用执行，运行在本地模式。第二步、Reduce阶段：对map阶段输出的数据分组聚合，将相同Key的Value放在一起，聚合每个单词出现的总次数。
Spark 计算PI
叶小刀
07-25 2149
Spark-Hadoop集群安装见：https://blog.youkuaiyun.com/qq_25948717/article/details/80758713 （1）计算圆周率pi：在spark安装目录下运行：run-example SparkPi 10 > SparkPi.txt          在文件里可以看到：Pi is roughly 3.13981513981514...
spark系列之spark-submit提交spark程序
liu_xue_xue的专栏
08-02 2185
通过spark-submit提交第一个spark 应用到集群中运行 bin/spark-submit --master spark://node-4:7077,node-5:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2048mb --total-executor-cores 12 --executor-cores 1 examples/jars/spark-examples_2.11-2.2.0.jar 1000
Spark设计实现π的计算
赵广陆
11-04 2142
目录1 分布式估算圆周率2 程序设计3 分布式运行3.1 采用本地模式提交sparkAPP.jar3.2 采用Yarn-client或Yarn-cluster模式提交 1 分布式估算圆周率 计算原理 假设正方形的面积S等于x²，而正方形的内切圆的面积C等于Pi×(x/2)²，因此圆面积与正方形面积之比C/S就为Pi/4，于是就有Pi=4×C/S。 可以利用计算机随机产生大量位于正方形内部的点，通过点的数量去近似表示面积。假设位于正方形中点的数量为Ps，落在圆内的点的数量为Pc，则随机点的数量趋近于无穷
spark蒙特卡洛计算圆周率
05-23
### 使用 Spark 实现蒙特卡洛方法计算圆周率 Spark 提供了一种高效的方式来并行化处理大规模数据集，因此非常适合用来实现蒙特卡洛模拟来估算圆周率 π。以下是详细的说明以及 Python 和 Scala 的示例代码。 #### 蒙特卡洛方法简介 蒙特卡洛方法是一种通过随机抽样来进行数值估计的技术。对于圆周率的计算，可以通过在单位正方形内随机生成点，并统计这些点落在四分之一单位圆内的比例来近似得到 π 值[^2]。 #### Spark 并行化的思路 为了利用 Spark 的分布式特性加速计算过程，可以将大量随机数的生成和判断分布到多个节点上执行。具体而言： - 每个分区独立生成一定数量的随机点。 - 判断每个点是否位于单位圆内部。 - 将各分区的结果汇总起来得出最终的 π 估值。 下面分别给出 Python 和 Scala 版本的具体实现： --- #### Python 示例代码 ```python from pyspark import SparkConf, SparkContext import random def inside(p): x, y = random.random(), random.random() return 1 if x*x + y*y < 1 else 0 conf = SparkConf().setAppName("Estimate Pi") sc = SparkContext(conf=conf) num_samples = 100000000 # 总样本数 count = sc.parallelize(range(0, num_samples)) \ .map(lambda _: inside(None)) \ .reduce(lambda a, b: a + b) pi_estimate = 4 * count / num_samples print(f"Estimated value of Pi is {pi_estimate}") sc.stop() ``` 此脚本定义了一个 `inside` 函数用于检测单个点是否处于单位圆内，随后创建一个 RDD 来表示所有的采样点，并调用 map-reduce 方法完成计数操作[^4]。 --- #### Scala 示例代码 ```scala import org.apache.spark.{SparkConf, SparkContext} object MonteCarloPi { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("Monte Carlo Pi Estimation") val sc = new SparkContext(conf) val numSamples = 100000000L // 总样本数 val nInside = sc.parallelize(1 to numSamples.toInt).map { _ => val x = Math.random() val y = Math.random() if (x * x + y * y < 1) 1 else 0 }.reduce(_ + _) val piEstimate = 4.0 * nInside.toDouble / numSamples println(s"Estimated value of Pi is $piEstimate") sc.stop() } } ``` 这段 Scala 程序同样实现了相同的逻辑：生成指定数量的随机坐标对 `(x,y)` ，并通过条件筛选确定它们是否落入单位圆范围内[^1]。 --- #### 如何运行该程序？ 假设已经配置好 Spark 环境，则可通过如下命令提交作业至本地模式或者 YARN 集群运行[^4]: ```bash spark-submit monte_carlo_pi.py --master local[*] # 或者针对集群环境调整参数如 master=yarn deploy-mode=client ``` 以上即为完整的解决方案及其部署指南。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值