Spark1.3.1集群部署

最新推荐文章于 2023-09-15 10:39:31 发布
原创 最新推荐文章于 2023-09-15 10:39:31 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #集群

本文详细介绍了Spark集群的搭建过程，包括安装包解压、配置文件设置、节点添加及客户端安装等内容，并通过spark-shell进行测试验证。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 java安装

2 ssh无密码登陆

1,2在安装hadoop2.6.0的时候已经安装好。

3 spark安装包解压

4 spark配置文件配置

文件 conf/slaves：增加3个节点

文件 conf/spark-env.sh：





拷贝安装目录到hadoop2，hadoop3：




启动集群：


浏览器访问：


5 客户端安装

将hadoop1上的安装目录拷贝到客户端机器上：


测试：使用spark-shell


在浏览器中查看：


Spark 1.3.1 部署
wenjian68的专栏
05-25 534
参考：http://my.oschina.net/leejun2005/blog/394928 1     安装环境 Spark 1.3.1需要JDK1.6或更高版本，我们这里采用jdk 1.7.0_67 Spark 1.3.1需要Scala 2.10或更高版本，我们这里采用scala 2.11.6 2     部署Hadoop Spark目前支持多种分布式部署方式： 1、Standa
hive on spark集群环境部署（彻底摆脱做毕设没环境）
最新发布
m0_64893323的博客
11-13 1400
hive on spark环境部署
部署spark 1.3.1 standalong模式
weixin_30692143的博客
05-13 97
之前已经写过很多次部署spark 的博客，但是之前部署都是照瓢画葫芦，不得其中的细节，并且以前都是部署spark on yarn 部署环境 scala 2.10.2，jdk 1.6，spark 版本1.3.1 下载地址：https://spark.apache.org/downloads.html 两台ubuntu14.04 x64桌面版，其中ubuntu1 做master ， ubu...
Spark1.3.1 On Yarn的集群搭建
u013200776的专栏
07-25 303
下面给出的是spark集群搭建的环境： 操作系统：最小安装的CentOS 7（下载地址） Yarn对应的hadoop版本号：Hadoop的Cloudera公司发行版Hadoop2.6.0-CDH5.4.0（下载地址） Java版本号：JDK1.8（下载地址） Scala版本号：Scala2.10.4（下载地址） Spark版本号：spark-1.3.1-bin-hadoop2.6（下载地
Spark-1.3.1集群环境搭建
彩虹柠檬水
05-13 830
一、实践环境 Ubuntu14.04 + JDK1.8.0_25 + Hadoop2.5.1+Scala2.11.6+Spark1.3.1 一共三台linux机器（virtualbox虚拟机，桥接网络配置静态ip），已经部署好hadoop完全分布式环境。   二、安装scala 1.下载scala-2.11.6.tgz 2.将scala-2.11.6.tgz解压到/home/jsj/s
spark部署yarn集群
踏莎行的博客
05-13 2538
spark官方地址：http://spark.apache.org/docs/latest/running-on-yarn.html 环境 linux centos hadoop-2.6.0 spark-1.3.1-bin-hadoop2.6 jdk1.7 python2.6 spark部署yarn模式集群，必须先启动hadoop中的yarn，然后在spark上提交应用到yarn集群上运行。步
CDH集群部署Dolphinscheduler1.3.1
ifeng
08-04 3113
文章目录1 下载2 基础软件安装3 集群解压缩3.1 scp到其他节点3.2 tar开3.3 重命名4 创建部署用户和hosts映射4.2 同步到其他4.3 安装sshpass4.4 免密登录4.5 修改权限5 数据库初始化5.1 数据库用户权限5.2 创建表和导入基础数据6 修改运行参数7 初始化8 启停服务 1 下载 https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html 2 基础软件安装 PostgreSQL (8
Spark-3.2.4 高可用集群安装部署详细图文教程
GG Bond 的博客
09-15 7065
Spark-3.2.4 高可用集群安装部署详细图文教程
spark-单机部署（三）
weixin_45025143的博客
11-18 3187
Spark的windows、linux单机部署 1、windows单机部署   相信大多数同学用的都是windows系统，没错，我也是windows系统，主要是因为公司电脑安装了深信服的办公软件，但是这个不支持linux系统，所有我们公司都强制被使用win10。为了调试方便，还是习惯在电脑上装上单机Spark，好在Spark也支持win10。 废话不多说，我们开始哈。。。 1.1、安装Java环境   这里我们安装Java8，哎，这会是不是有同学问了现在Java15都有了我们为啥还用Java8了？❓❓❓
HBase工作坊：HDP 2.3环境搭建与Spark 1.3.1配置教程
然而，从给出的信息中我们可以推断，工作坊将指导参与者完成从环境准备到HBase集群部署和应用运行的完整过程，覆盖了HBase集群的安装、配置、数据操作以及与其他大数据组件如Spark的集成。 在进行HBase工作坊之前，...
SparkR安装部署及数据分析实例
02-01
**1.3.1 SparkR的代码下载** 从GitHub下载SparkR-pkg-master.zip: ``` https://github.com/amplab-extras/SparkR-pkg ``` **1.3.2 SparkR的代码编译** 1. 解压SparkR-pkg-master.zip，并进入解压后的目录: ``` ...
Spark-submit提交任务到集群
热门推荐
06-19 7万+
1 IDEA 打包 示例代码参考AMPCamp2015之SparkSQL，开发环境使用idea。首先需要将程序打包成jar 选择project structure --》artifacts ，由于集群已经有了运行依赖的jar包，打包时可以将这些jar包排除出去，以减小打包后的jar包的大小。 点击ok，然后选择build --》build artifacts，
上传本地文件到HDFS
04-05 5万+
1.上传文件 切换到hadoop 安装目录，启动hadoop，然后输入命令：bin/hdfs dfs -mkdir /alidata，在hdfs上创建alidata文件夹 浏览器查看hdfs： 上传文件到alidata文件夹： 命令：bin/hdfs dfs -put /home/kaiseu/TianChi /alidata/ 查看结果：
Spark实例演示之SparkPi
04-04 8322
1.贴上源码 def main(args: Array[String]) { val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://hadoop1:7077").setJars(List("/home/kaiseu/MyProject/IdeaProjects/week2/out/artifacts/week2
java.lang.RuntimeException: Error caching map.xml
11-30 5057
MR job failed with below error: java.lang.RuntimeException: Error caching map.xml: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/root/c6d2b6f4-3b63-43c6-b9a5-522c3421b5
hive演示实验--sogou日志数据
01-27 2402
1：日志处理演示 数据来源：http://download.labs.sogou.com/dl/q.html 完整版(2GB)：gz格式 //SogouQ1.txt、SogouQ2.txt、SogouQ3.txt分别是用head -n 或者tail -n 从SogouQ数据日志文件中截取 查看日志文件格式： [hadoop@hadoop2 hadoop220]$ bin/hdfs df
hive演示实验--销售数据
01-28 1710
2：销售数据 //qryTheDate.txt文件定义了日期的分类，将每天分别赋予所属的月份、星期、季度等属性 //日期，年月，年，月，日，周几，第几周，季度，旬、半月 数据文件所在目录： 数据格式： //qrytblStock.txt文件定义了订单表头 //订单号，交易位置，交易日期 /qryStockDetail.txt文件定义了订单明细 //订
Spark1.3.1 Standalone 基于文件系统的 HA 部署
06-01 1545
基于文件系统的 HA spark.deploy.recoveryMode设成 FILESYSTEM spark.deploy.recoveryDirectory  Spark保存恢复状态的目录 Spark-env.sh 里对 SPARK_DAEMON_JAVA_OPTS 设置 export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.rec
Spark 1.3.1源码下载指南
Spark 1.3.1是Apache Spark的一个重要版本，于2015年发布，其中包含许多重要的新特性和改进，比如对Spark SQL的早期支持，以及对机器学习库MLlib的增强等。 要下载Spark 1.3.1的源码，通常需要通过访问Apache Spark...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值