图文+代码讲解spark-2.1.0集群搭建

本文详细介绍了如何在 Spark 2.1.0 中搭建集群,包括修改主机名和域名解析,解压缩Spark,配置slaves文件,设置master和worker节点,以及启动和验证集群的正确运行。通过这个过程,读者可以了解到完整的集群部署步骤。

集群如下:

192.168.188.111 master

192.168.188.112 slave1

192.168.188.113 slave2

1 .修改主机名及域名解析

    1.1 修改主机名

[root@master ~]# vim /etc/hostname

    输入master

     同理在192.168.188.112和192.168.188.113分别修改为slave1和slave2.

    1.2 修改域名hosts

[root@master ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.188.111 master

192.168.188.112 slave1

192.168.188.113 slave2


2.配置spark-2.1.0

<

### 如何搭建 Spark 2.1.0 集群 #### 准备工作 为了成功搭建 Spark 2.1.0集群环境,需先准备好必要的软件包并配置好基础环境。确保所有节点都已安装 Java 和 Scala,并且能够通过 SSH 远程无密码登录。 #### 下载与解压 Spark 安装包 前往 Apache Spark 官方网站下载适用于集群部署的二进制文件。对于特定版本如 2.1.0 ,可直接访问历史存档页面获取对应 tarball 文件。完成下载后,在每台机器上执行解压缩操作: ```bash tar zxvf spark-2.1.0-bin-hadoop2.7.tgz cd spark-2.1.0-bin-hadoop2.7 ``` #### 修改配置文件 编辑 `conf/spark-env.sh` 来设置环境变量 SPARK_MASTER_HOST 及其他必要参数;同时调整 slaves 文件以指定 worker 节点列表[^2]。 #### 启动 Master 和 Worker 节点 进入 Spark 解压后的目录下分别启动 master 和 workers: ```bash sbin/start-master.sh sbin/start-slave.sh <master-node-ip>:7077 ``` 此时可以通过浏览器访问 http://<master-node-ip>:8080 查看集群状态信息。 #### 测试集群功能 创建简单的应用程序验证集群是否正常运作。下面是一个基于 Scala 的 Word Count 实现例子: ```scala import org.apache.spark.{SparkConf, SparkContext} object SimpleApp { def main(args: Array[String]) { val logFile = "hdfs://..." val conf = new SparkConf().setAppName("Simple Application").setMaster("<master-url>") val sc = new SparkContext(conf) val logData = sc.textFile(logFile, 2).cache() val numAs = logData.filter(line => line.contains("a")).count() println(s"Lines with a: $numAs.") } } ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值