Spark2.2.0安装与本地运行PI程序

最新推荐文章于 2025-04-08 09:41:34 发布

原创最新推荐文章于 2025-04-08 09:41:34 发布 · 871 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark2.2 #PI

Spark 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了如何下载并安装 Spark 2.2.0 版本，包括使用 wget 命令从指定的 Apache 镜像站点下载 Spark 的 hadoop2.7 版本，以及通过 tar 命令解压安装包。此外，还详细说明了如何在本地模式下使用 spark-submit 运行 SparkPi 示例程序。

1.Spark下载安装

wget http://mirrors.hust.edu.cn/apache/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz
tar -xzf spark-2.2.0-bin-hadoop2.7.tgz

2.使用命令行本地运行PI程序

cd spark-2.2.0-bin-hadoop2.7
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[8] \
  examples/jars/spark-examples_2.11-2.2.0.jar \
  100

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

贝加尔湖畔v

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

spark pi 详解

Love-Coding

01-20

3898

import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; import org.apache

hadoop组件---spark实战----spark on k8s模式k8s原生方式---cluster mode调用运行spark程序

直到世界的尽头

02-05

2515

我们在上篇文章中已经记录了如果安装spark on k8s模式k8s原生方式—cluster mode。 hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 cluster mode 本章记录 cluster mode这种方式的spark集群使用方法。首先注意提交spark命令需要借助 spark的安装包中的spark-submit命...

参与评论您还未登录，请先登录后发表或查看评论

minikube运行sparkPi

johnhuster的专栏

11-28

599

spark-on-k8s是spark执行任务的一种方式，当然还有spark-on-yarn等，本文讲述下spark-on-k8s的入门级操作流程，使用的是minikube来搭建单机版的k8s环境，好了废话不多说了，直接如主题： 1、安装minikube环境（本文用到的是1.15.1版本）进入https://github.com/kubernetes/minikube/releases/tag/v1.15.1页面下载系统对应的minikube版本，博主用的是ubuntu系统，所以下载 minikube

IntelliJ IDEA单机运行SparkPi实例

艾@七的专栏

05-14

2945

刚刚开始接触spark,自己动手实践sparkPi的example，单机模式，本地实现。适合小白体验spark学习的第一个实践。不足之处，欢迎指正。

spark安装配置

热门推荐

OopsOutOfMemory盛利的博客

03-31

1万+

上回运行了一个计算Pi的例子那么Spark究竟是怎么执行的呢？我们来看一下脚本 #!/bin/sh export YARN_CONF_DIR=/home/victor/software/hadoop-2.2.0/etc/hadoop SPARK_JAR=./assembly/target/scala-2.9.3/spark-assembly-0.8.1-incubat

cento7 spark3 安装 anaconda安装

小柒心得

07-08

1347

cento7 spark3 安装 anaconda安装 spark整合hive

Spark集群安装

Jasper的博客

07-27

354

Spark集群安装机器如果只有3台主机，可以按照如下规划来部署安装 IP host 172.16.185.68 hadoop1 172.16.185.69 hadoop2 72.16.185.70 hadoop3 Hadoop集群安装详见Hadoop集群安装 Scala安装详见Scala安装下载进入...

Spark的安装（Standalone模式，高可用模式，基于Yarn模式）

徐磊的博客

02-16

2007

@[TOC] spark安装作者： ℡XSs???? 一、spark的Standalone模式安装 1、将spark-2.2.0-bin-hadoop2.7.tgz 上传到/usr/local/spark/下，然后解压 -C 是用大写C解压到指定目录 2、进入到conf中修改名字改为 .sh结尾的 3、编辑spark-env.sh ...

Spark安装配置

hxxjxw的博客

08-28

179

1、解压 tar -zxvfspark-2.3.0-bin-hadoop2.7.tgz 可以看到spark的目录结构然后就完事了 spark就这么简单 2、在conf目录下 cp spark-env.sh.template spark-env.sh cp spark-defaults.conf.template spark-defaults.conf 对于单机环境来说，其他配置是可有可无的 3、运行spark-shell bin下 ./spark-s...

spark的安装配置

m0_74216612的博客

11-25

1937

执行source /etc/profile使命令生效。如果遇到了报错，一般都是文件权限的问题。记得切换root账户。

Spark -安装配置

qq_39300291的博客

01-15

468

Spark架构说明 standalone模式是Spark自带的分布式集群模式，不依赖其他的资源调度框架安装步骤下载spark安装包，下载地址：https://spark.apache.org/downloads.html(国外网络卡慢,建议使用vpn,链接下载) 或者,百度搜索: 清华大学开源软件镜像站,可以快速下载安装包上传spark安装包到Linux服务器上解压Spark安装包 tar -zxvf spark-3.0.1-bin-hadoop3.2.tgz -C /opt

spark集群中运行SparkPi的示例

sxyqhyt的博客

12-31

899

1、SparkPi.scala源码（官网例子） import scala.math.random import org.apache.spark._ /** Computes an approximation to pi */ object SparkPi { def main(args: Array[String]) { val conf...

Spark 计算PI

叶小刀

07-25

2167

Spark-Hadoop集群安装见：https://blog.csdn.net/qq_25948717/article/details/80758713 （1）计算圆周率pi：在spark安装目录下运行：run-example SparkPi 10 > SparkPi.txt 在文件里可以看到：Pi is roughly 3.13981513981514...

Spark安装配置（单机模式）

菜鸟也学大数据的博客

10-30

577

安装步骤第一步：解压spark压缩包：tar -zxvf spark-2.4.5-bin-hadoop2.6 -C /opt 第二步：配置/etc/profile export SPARK_HOME=/spark所在路径 export PATH=$PATH:$SPARK_HOME/bin //配置完后需要source /etc/profile 第三步：复制一份spark路径/conf目录下的spark-env-sh.template到当前目录下并修改名为spark-env-sh 第四步：修改配置上

Spark三种模式安装指南：Standalone、高可用与Yarn集成

安装该模式的第一步是将spark-2.2.0-bin-hadoop2.7.tgz压缩包上传至指定目录（如/usr/local/spark/），并进行解压操作。随后进入conf目录，将模板文件如spark-env.sh.template重命名为spark-env.sh，并赋予可执行...