25、Hadoop 分析与 ETL 工具使用指南

Hadoop 分析与 ETL 工具使用指南

1. Spark 集群的启动与使用

在大数据处理中，Spark 是一个强大的工具。启动 Spark 集群，需要在主节点上启动 Spark Master 和 History 服务器，在所有数据节点上启动 Spark 工作节点。具体操作步骤如下：
1. 在主节点启动 Spark Master 和 History 服务器：

[root@hc2nn ~]# service spark-master  restart
[root@hc2nn ~]# service spark-history-server restart

2. 在所有数据节点启动 Spark 工作节点：

[root@hc2r1m1 ~]# service spark-worker restart

启动完成后，可通过配置文件 spark-env.sh 中的默认变量定义主节点和工作节点的用户界面端口：

export SPARK_MASTER_WEBUI_PORT=18080
export SPARK_WORKER_WEBUI_PORT=18081

Spark Master 用户界面地址为 hc2nn:18080 ，该界面会列出 Spark 工作节点及其所在机器，还提供运行