Spark2.2.0安装与本地运行PI程序

最新推荐文章于 2024-11-25 13:26:24 发布

贝加尔湖畔v

最新推荐文章于 2024-11-25 13:26:24 发布

阅读量844

点赞数

分类专栏： Spark 文章标签： spark2.2 PI

本文链接：https://blog.youkuaiyun.com/aspkhdp/article/details/79580545

版权

Spark 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了如何下载并安装 Spark 2.2.0 版本，包括使用 wget 命令从指定的 Apache 镜像站点下载 Spark 的 hadoop2.7 版本，以及通过 tar 命令解压安装包。此外，还详细说明了如何在本地模式下使用 spark-submit 运行 SparkPi 示例程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.Spark下载安装

wget http://mirrors.hust.edu.cn/apache/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz
tar -xzf spark-2.2.0-bin-hadoop2.7.tgz

2.使用命令行本地运行PI程序

cd spark-2.2.0-bin-hadoop2.7
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[8] \
  examples/jars/spark-examples_2.11-2.2.0.jar \
  100

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

贝加尔湖畔v

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

spark pi 详解

Hope^_^

01-20

3788

import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; import org.apache

hadoop组件---spark实战----spark on k8s模式k8s原生方式---cluster mode调用运行spark程序

直到世界的尽头

02-05

2357

我们在上篇文章中已经记录了如果安装spark on k8s模式k8s原生方式—cluster mode。 hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 cluster mode 本章记录 cluster mode这种方式的spark集群使用方法。首先注意提交spark命令需要借助 spark的安装包中的spark-submit命...

参与评论您还未登录，请先登录后发表或查看评论

minikube运行sparkPi

johnhuster的专栏

11-28

490

spark-on-k8s是spark执行任务的一种方式，当然还有spark-on-yarn等，本文讲述下spark-on-k8s的入门级操作流程，使用的是minikube来搭建单机版的k8s环境，好了废话不多说了，直接如主题： 1、安装minikube环境（本文用到的是1.15.1版本）进入https://github.com/kubernetes/minikube/releases/tag/v1.15.1页面下载系统对应的minikube版本，博主用的是ubuntu系统，所以下载 minikube

IntelliJ IDEA单机运行SparkPi实例

艾@七的专栏

05-14

2922

刚刚开始接触spark,自己动手实践sparkPi的example，单机模式，本地实现。适合小白体验spark学习的第一个实践。不足之处，欢迎指正。

spark安装配置

安静的码农

03-15

284

##spark安装下载spark2.2.0 下载地址上传spark 安装java 参见jdk安装安装scala scala安装 ###安装hadoop hadoop分布式安装解压 tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0 配置环境变量 vi /etc/profile ...

Spark计算Pi运行过程详解---Spark学习笔记4

OopsOutOfMemory盛利的博客

03-31

1万+

上回运行了一个计算Pi的例子那么Spark究竟是怎么执行的呢？我们来看一下脚本 #!/bin/sh export YARN_CONF_DIR=/home/victor/software/hadoop-2.2.0/etc/hadoop SPARK_JAR=./assembly/target/scala-2.9.3/spark-assembly-0.8.1-incubat

Spark安装教程：Standalone、HA模式与YARN集成

执行Spark程序，比如PI计算，来验证Spark是否正常运行。 3. Spark高可用模式安装： - 高可用模式需先停用Standalone模式，然后在配置文件中添加高可用相关设置，如指定worker节点。在主节点(node1)上修改slaves...

Spark集群安装

Jasper的博客

07-27

326

Spark集群安装机器如果只有3台主机，可以按照如下规划来部署安装 IP host 172.16.185.68 hadoop1 172.16.185.69 hadoop2 72.16.185.70 hadoop3 Hadoop集群安装详见Hadoop集群安装 Scala安装详见Scala安装下载进入...

搞懂spark-submit参数及应用程序提交（详细）

最新发布

m0_74216612的博客

11-25

1564

执行source /etc/profile使命令生效。如果遇到了报错，一般都是文件权限的问题。记得切换root账户。

Spark -安装配置

qq_39300291的博客

01-15

389

Spark架构说明 standalone模式是Spark自带的分布式集群模式，不依赖其他的资源调度框架安装步骤下载spark安装包，下载地址：https://spark.apache.org/downloads.html(国外网络卡慢,建议使用vpn,链接下载) 或者,百度搜索: 清华大学开源软件镜像站,可以快速下载安装包上传spark安装包到Linux服务器上解压Spark安装包 tar -zxvf spark-3.0.1-bin-hadoop3.2.tgz -C /opt

spark集群中运行SparkPi的示例

sxyqhyt的博客

12-31

841

1、SparkPi.scala源码（官网例子） import scala.math.random import org.apache.spark._ /** Computes an approximation to pi */ object SparkPi { def main(args: Array[String]) { val conf...

Spark 计算PI

叶小刀

07-25

2135

Spark-Hadoop集群安装见：https://blog.csdn.net/qq_25948717/article/details/80758713 （1）计算圆周率pi：在spark安装目录下运行：run-example SparkPi 10 > SparkPi.txt 在文件里可以看到：Pi is roughly 3.13981513981514...

Spark安装配置（单机模式）

菜鸟也学大数据的博客

10-30

529

安装步骤第一步：解压spark压缩包：tar -zxvf spark-2.4.5-bin-hadoop2.6 -C /opt 第二步：配置/etc/profile export SPARK_HOME=/spark所在路径 export PATH=$PATH:$SPARK_HOME/bin //配置完后需要source /etc/profile 第三步：复制一份spark路径/conf目录下的spark-env-sh.template到当前目录下并修改名为spark-env-sh 第四步：修改配置上

Windows与Linux平台下的Spark 2.2.0源码安装指南

5. Spark支持分布式部署，用户可以通过编写应用程序并提交到集群来运行。知识点五：源码结构 1. Spark源码主要分为几个模块，包括核心模块（core）、集群管理模块（cluster）、SQL模块（sql）、流处理模块...