spark 第一个程序，求PI 值

最新推荐文章于 2024-11-06 10:29:18 发布

原创最新推荐文章于 2024-11-06 10:29:18 发布 · 490 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#spark

这篇博客介绍了如何在CDH 6.2.1环境下通过编写Shell脚本来运行Spark示例程序SparkPi。首先，通过find命令定位到Spark的jar包，然后创建并编辑submit.sh脚本，使用spark-submit命令指定master为YARN，类名为SparkPi，并指定jar路径。最后，执行脚本./submit.sh即可启动计算。

spark-Example-PI

1.找到class(一般在spark的安装包里)

find / -name spark

找到jar 包

2.编写sh执行脚本

脚本内submit的命令格式要求严格，

-换行需使用 “斜杠”，斜杠后无空格

- jars 这一项为，手动添加的外部jars 包，需只占用一行，多个jar包用逗号隔开

vim submit.sh (注意权限，需要是x, 可执行文件)

#!/bin/bash
CDH_BIN='/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/bin'
LIB_PATH='/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib'

$CDH_BIN/spark-submit \
--master yarn \
--class org.apache.spark.examples.SparkPi \
/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/spark/examples/jars/spark-examples_2.11-2.4.0-cdh6.2.1.jar

3.执行

./submit.sh