【数据挖掘】6-Spark集群搭建

最新推荐文章于 2024-01-25 01:53:57 发布

原创最新推荐文章于 2024-01-25 01:53:57 发布 · 325 阅读

0 ·

CC 4.0 BY-SA版权

数据挖掘专栏收录该内容

12 篇文章

订阅专栏

本文介绍如何下载并安装 Spark 1.6.3 版本，包括配置环境变量、设置集群参数等步骤。此外还详细说明了如何启动 Hadoop 集群，并通过 spark-shell 运行示例程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下载 spark.1.6.3-bin-hadoop.2.6.tgz

1，安装步骤
tar -zxvf spark.1.6.3-bin-hadoop.2.6.tgz -C /export/servers/apps
cd spark.1.6.3-bin-hadoop.2.6/conf
mv spark-env.sh.template spark-env.sh
vi spark-env.sh

    export JAVA_HOME=/usr/java/jdk1.8.0_144
    export SPARK_MASTER=spark30
    export SPARK_MASTER_PORT=7077

mv salves.template slaves
vi slaves

    spark31
    spark32

2，启动hadoop集群，使用hdfs文件系统

3，启动集群
spark.1.6.3-bin-hadoop.2.6/sbin/start-all.sh

4，spark-shell启动
bin/spark-shell --master spark://spark30:7077 --executor-memory 1024m --total-executor-cores 2

5，例子
sc.textFile(“hdfs://spark30:9000/wordcount/input”).flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect

sc.textFile(“hdfs://spark30:9000/wordcount/input”).flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).saveAsTextFile(“hdfs://spark30:9000/wordcount/output/out2”)