安装Spark+hadoop，spark、hadoop分布式集群搭建...(亲自搭建过！！)

hxpjava1 hxpjava1 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.8k累计阅读 1.9k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄19年
关注
转载 最新推荐文章于 2026-04-18 05:41:47 发布 1.8k 阅读 AI 写同款· GEO 优化 ›
Spark-3.2.4 高可用集群安装部署详细图文教程 阅读详情

首先说一下我所用的版本： 

spark-2.1.1-bin-hadoop2.7.tgz
hadoop-2.7.3.tar.gz
jdk-8u131-linux-x64.rpm
 

 
  • 1
  • 2
  • 3

我们实验室有4台服务器：每个节点硬盘：300GB，内存：64GB。四个节点的hostname分别是master，slave01，slave02，slave03。

我用的是Spark做并行计算，用HDFS作为数据的分布式存储，这样的话就得安装hadoop利用里面的HDFS。如果你不用hadoop的话可以直接跳到第7步，直接安装spark即可！

1。先装java1.8环境：给各个节点上传jdk-8u131-linux-x64.rpm到/home里面。用rpm安装。

[root@localhost home]# rpm -ivh jdk-8u131-linux-x64.rpm
Preparing...                          ################################# [100%]
Updating / installing...
   1:jdk1.8.0_131-2000:1.8.0_131-fcs  ################################# [100%]
Unpacking JAR files...
        tools.jar...
        plugin.jar...
        javaws.jar...
        deploy.jar...
        rt.jar...
        jsse.jar...
        charsets.jar...
        localedata.jar...
[root@localhost home]# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

如上：java1.8 安装成功！！

2。集群核准时间：(如果集群时间一致的话，此步略过！)
时间必须同步，因为节点之间要发送心跳，如果时间不一致的话，会产生错误。
用date -s 命令也行！(下面是ntp服务器来同步时间)

##在每个节点上执行安装ntp服务
[hadoop@master ~]$ sudo yum install -y ntp
##在每个节点上同时执行`sudo ntpdate us.pool.ntp.org`
[hadoop@master ~]$ sudo ntpdate us.pool.ntp.org
 5 Oct 18:19:41 ntpdate[2997]: step time server 138.68.46.177 offset -6.006070 sec
 

 
  • 1
  • 2
  • 3
  • 4
  • 5

或者也可以在某个节点上启动一个ntp服务器：

##在每个节点上执行安装ntp服务
[hadoop@master ~]$ sudo yum install -y ntp
##在192.168.2.219节点上执行`sudo ntpdate us.pool.ntp.org`把这个节点作为ntp同步服务器
[hadoop@master ~]$ sudo ntpdate us.pool.ntp.org
 5 Oct 18:19:41 ntpdate[2997]: step time server 138.68.46.177 offset -6.006070 sec
##在各个节点上开启ntp服务
[hadoop@master ~]$ sudo service ntpd start
Redirecting to /bin/systemctl start  ntpd.service
##在其他节点上同步192.168.2.219节点ntp服务器上的时间。
[hadoop@slave01 ~]$ sudo ntpdate 192.168.2.219
 5 Oct 18:27:45 ntpdate[3014]: adjust time server 192.168.147.6 offset -0.001338 sec
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

3。添加用户hadoop：

[root@localhost etc]# useradd -m hadoop -s /bin/bash
useradd: user 'hadoop' already exists
[root@localhost etc]# passwd hadoop
Changing password for user hadoop.
New password: 
BAD PASSWORD: The password fails the dictionary check - it is too simplistic/systematic
Retype new password: 
passwd: all authentication tokens updated successfully.
[root@localhost etc]# su - hadoop
[hadoop@localhost ~]$ 
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

4。给hadoop用户增加管理员权限，方便部署

[root@localhost ~]#visudo
 

 
  • 1

找到 root ALL=(ALL) ALL 这行（应该在第98行，可以先按一下键盘上的 ESC 键，然后输入 :98 (按一下冒号，接着输入98，再按回车键)，可以直接跳到第98行 ），然后在这行下面增加一行内容：hadoop ALL=(ALL) ALL （当中的间隔为tab），如下图所示：
这里写图片描述

5。SSH无密通信：

[root@master .ssh]#su - hadoop
[hadoop@master ~]$
[hadoop@master ~]$ ssh localhost    # 如果没有该目录，先执行一次ssh localhost
[hadoop@master ~]$ cd ~/.ssh 
[hadoop@master ~]$ rm ./id_rsa*    # 删除之前生成的公匙（如果有）
[hadoop@master ~]$ ssh-keygen -t rsa  # 一直按回车就可以
让 Master 节点需能无密码 SSH 本机，在 Master 节点上执行：
[hadoop@master .ssh]$ cat ./id_rsa.pub >> ./authorized_keys
完成后可执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）。接着在 master 节点将上公匙传输到 slave01,slave02,slave03 节点：
[hadoop@master .ssh]$ scp ~/.ssh/id_rsa.pub hadoop@slave01:/home/hadoop/
[hadoop@master .ssh]$ scp ~/.ssh/id_rsa.pub hadoop@slave02:/home/hadoop/
[hadoop@master .ssh]$ scp ~/.ssh/id_rsa.pub hadoop@slave03:/home/hadoop/
接着在 slave01,slave02,slave03节点上，将 ssh 公匙加入授权：【分别在其他三个节点上执行以下命令：】
[hadoop@slave03 ~]$ mkdir ~/.ssh   
[hadoop@slave03 ~]$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@slave03 ~]$ rm ~/id_rsa.pub
然后在master上执行ssh slave01  但是还是不行解决方法：
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

常见免密码登录失败分析
配置问题
检查配置文件/etc/ssh/sshd_config是否开启了AuthorizedKeysFile选项
检查AuthorizedKeysFile选项指定的文件是否存在并内容正常
目录权限问题
~权限设置为700
~/.ssh权限设置为700
~/.ssh/authorized_keys的权限设置为600

sudo chmod 700 ~
sudo chmod 700 ~/.ssh
sudo chmod 600 ~/.ssh/authorized_keys  
 

 
  • 1
  • 2
  • 3

6。安装hadoop：
这里写图片描述
下面是hosts文件内容：
192.168.2.189 slave01
192.168.2.240 slave02
192.168.2.176 slave03
192.168.2.219 master
hadoop-2.7.3.tar.gz放在~下。【一般安装文件都放在~下面】
我们选择将 Hadoop 安装至 /usr/local/ 中：

[hadoop@master ~]$  sudo tar -zxf ~/hadoop-2.7.3.tar.gz -C /usr/local   # 解压到/usr/local中
[hadoop@master ~]$ cd /usr/local/
[hadoop@master ~]$ sudo mv ./hadoop-2.7.3/ ./hadoop         # 将文件夹名改为hadoop
[hadoop@master ~]$ sudo chown -R hadoop:hadoop ./hadoop           # 修改文件权限
 

 
  • 1
  • 2
  • 3
  • 4

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

[hadoop@master local]$ cd /usr/local/hadoop
[hadoop@master hadoop]$ ./bin/hadoop version
Hadoop 2.7.3
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff
Compiled by root on 2016-08-18T01:41Z
Compiled with protoc 2.5.0
From source with checksum 2e4ce5f957ea4db193bce3734ff29ff4
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.7.3.jar
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

6.1。 Hadoop单机配置(非分布式) ，注：先把一个节点的hadoop装好后，然后再依次拷贝到其他的节点上。
Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。
现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子（运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。
在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

[hadoop@master hadoop]$ cd /usr/local/hadoop
[hadoop@master hadoop]$ mkdir ./input
[hadoop@master hadoop]$ cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件
[hadoop@master hadoop]$./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
[hadoop@master hadoop]$ cat ./output/*       # 查看运行结果
1       dfsadmin
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

6.2。修改/usr/local/hadoop/etc/hadoop/slaves:这里配置的是三个运行节点，master节点只做master不作为运行节点。

[hadoop@master hadoop]$ vi slaves      #里面内容是：
slave01
slave02
slave03
 

 
  • 1
  • 2
  • 3
  • 4

6.3。文件 core-site.xml 改为下面的配置：

<configuration>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/local/hadoop/tmp</value>
          <description>Abase for other temporary directories.</description>
      </property>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
</configuration>
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

6.4。文件 hdfs-site.xml，dfs.replication 一般设为 3：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

6.5。文件 mapred-site.xml （可能需要先重命名，默认文件名为 mapred-site.xml.template），然后配置修改如下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

6.6。文件 yarn-site.xml：

<configuration>
  <!-- Site specific YARN configuration properties -->
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>
      <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>master</value>
      </property>
       <property>
          <name>yarn.nodemanager.pmem-check-enabled</name>
          <value>false</value>
      </property>
      <property>
          <name>yarn.nodemanager.vmem-check-enabled</name>
          <value>false</value>
      </property>
</configuration>
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19

6.7。配置好后，将 master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。在 master 节点上执行：

之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。
[hadoop@master ~]$cd /usr/local
[hadoop@master ~]$sudo rm -r ./hadoop/tmp     # 删除 Hadoop 临时文件
[hadoop@master ~]$sudo rm -r ./hadoop/logs/*   # 删除日志文件
[hadoop@master ~]$tar -zcf ~/hadoop.master.tar.gz ./hadoop # 先压缩再复制
[hadoop@master ~]$cd ~
[hadoop@master ~]$scp ./hadoop.master.tar.gz slave01:/home/hadoop
[hadoop@master ~]$scp ./hadoop.master.tar.gz slave02:/home/hadoop
[hadoop@master ~]$scp ./hadoop.master.tar.gz slave03:/home/hadoop
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

6.8。在各个节点执行：
在 slave01 节点上执行：

[hadoop@slave01 ~]$ sudo rm -r /usr/local/hadoop       # 删掉旧的（如果存在）
[hadoop@slave01 ~]$ sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
[hadoop@slave01 ~]$ sudo chown -R hadoop /usr/local/hadoop
 

 
  • 1
  • 2
  • 3

在 slave02 节点上执行：

[hadoop@slave02 ~]$ sudo rm -r /usr/local/hadoop       # 删掉旧的（如果存在）
[hadoop@slave02 ~]$ sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
[hadoop@slave02 ~]$ sudo chown -R hadoop /usr/local/hadoop
 

 
  • 1
  • 2
  • 3

在 slave03 节点上执行：

[hadoop@slave03 ~]$ sudo rm -r /usr/local/hadoop       # 删掉旧的（如果存在）
[hadoop@slave03 ~]$ sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
[hadoop@slave03 ~]$ sudo chown -R hadoop /usr/local/hadoop
 

 
  • 1
  • 2
  • 3

6.9。首次启动需要先在 Master 节点执行 NameNode 的格式化：

[hadoop@master ~]$ hdfs namenode -format     #首次运行需要执行初始化，之后不需要
 

 
  • 1

6.10。CentOS系统需要关闭防火墙
CentOS系统默认开启了防火墙，在开启 Hadoop 集群之前，需要关闭集群中每个节点的防火墙。有防火墙会导致 ping 得通但 telnet 端口不通，从而导致 DataNode 启动了，但 Live datanodes 为 0 的情况。
在 CentOS 中，可以通过如下命令关闭防火墙：

在 CentOS 6.x 中，可以通过如下命令关闭防火墙：
sudo service iptables stop   # 关闭防火墙服务
sudo chkconfig iptables off  # 禁止防火墙开机自启，就不用手动关闭了
Shell 命令
若用是 CentOS 7，需通过如下命令关闭（防火墙服务改成了 firewall）：
systemctl stop firewalld.service    # 关闭firewall
systemctl disable firewalld.service # 禁止firewall开机启动
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

6.11。接着可以启动 hadoop 了，启动需要在 master 节点上进行：
注意修改：vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh ，
把export JAVA_HOME=${JAVA_HOME}改为：export JAVA_HOME=/usr/java/jdk1.8.0_131/

在/usr/local/hadoop/sbin   启动hadoop      ./start-all.sh   
[hadoop@master sbin]$ ./start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [master]
master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-master.out
slave03: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-slave03.out
slave01: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-slave01.out
slave02: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-slave02.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-secondarynamenode-master.out
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-resourcemanager-master.out
slave01: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-nodemanager-slave01.out
slave02: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-nodemanager-slave02.out
slave03: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-nodemanager-slave03.out
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

然后jps

[hadoop@master hadoop]$ jps
6194 ResourceManager
5717 NameNode
5960 SecondaryNameNode
6573 Jps    
[hadoop@slave01 hadoop]$ jps
4888 Jps
4508 DataNode
4637 NodeManager
[hadoop@slave02 hadoop]$ jps
3841 DataNode
3970 NodeManager
4220 Jps    
[hadoop@slave03 hadoop]$ jps
4032 NodeManager
4282 Jps
3903 DataNode
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

6.12. 打开hadoop WEBUI
在浏览器中输入http://192.168.2.219:50070 【注意浏览器要与192.168.2.219为局域网】
这里写图片描述

6.13。执行分布式实例

首先创建 HDFS 上的用户目录：
[hadoop@master hadoop]$ hdfs dfs -mkdir -p /user/hadoop
将 /usr/local/hadoop/etc/hadoop 中的配置文件作为输入文件复制到分布式文件系统中：
[hadoop@master hadoop]$ hdfs dfs -mkdir input
[hadoop@master hadoop]$ hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input
 

 
  • 1
  • 2
  • 3
  • 4
  • 5

通过查看 DataNode 的状态（占用大小有改变），输入文件确实复制到了 DataNode 中，如下图所示：
这里写图片描述
接着就可以运行 MapReduce 作业了：【注意运行前要保证节点时间一致】

####命令：
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
----------
####执行过程运行的log如下：
[hadoop@master hadoop]$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
17/11/13 22:26:21 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.2.219:8032
17/11/13 22:26:21 INFO input.FileInputFormat: Total input paths to process : 9
17/11/13 22:26:21 INFO mapreduce.JobSubmitter: number of splits:9
17/11/13 22:26:21 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1510581226826_0004
17/11/13 22:26:22 INFO impl.YarnClientImpl: Submitted application application_1510581226826_0004
17/11/13 22:26:22 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1510581226826_0004/
17/11/13 22:26:22 INFO mapreduce.Job: Running job: job_1510581226826_0004
17/11/13 22:26:28 INFO mapreduce.Job: Job job_1510581226826_0004 running in uber mode : false
17/11/13 22:26:28 INFO mapreduce.Job:  map 0% reduce 0%
17/11/13 22:26:32 INFO mapreduce.Job:  map 33% reduce 0%
17/11/13 22:26:33 INFO mapreduce.Job:  map 100% reduce 0%
17/11/13 22:26:37 INFO mapreduce.Job:  map 100% reduce 100%
17/11/13 22:26:37 INFO mapreduce.Job: Job job_1510581226826_0004 completed successfully
17/11/13 22:26:37 INFO mapreduce.Job: Counters: 50
        File System Counters
                FILE: Number of bytes read=51
                FILE: Number of bytes written=1190205
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=28817
                HDFS: Number of bytes written=143
                HDFS: Number of read operations=30
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=2
        Job Counters 
                Killed map tasks=1
                Launched map tasks=9
                Launched reduce tasks=1
                Data-local map tasks=9
                Total time spent by all maps in occupied slots (ms)=26894
                Total time spent by all reduces in occupied slots (ms)=2536
                Total time spent by all map tasks (ms)=26894
                Total time spent by all reduce tasks (ms)=2536
                Total vcore-milliseconds taken by all map tasks=26894
                Total vcore-milliseconds taken by all reduce tasks=2536
                Total megabyte-milliseconds taken by all map tasks=27539456
                Total megabyte-milliseconds taken by all reduce tasks=2596864
        Map-Reduce Framework
                Map input records=796
                Map output records=2
                Map output bytes=41
                Map output materialized bytes=99
                Input split bytes=1050
                Combine input records=2
                Combine output records=2
                Reduce input groups=2
                Reduce shuffle bytes=99
                Reduce input records=2
                Reduce output records=2
                Spilled Records=4
                Shuffled Maps =9
                Failed Shuffles=0
                Merged Map outputs=9
                GC time elapsed (ms)=762
                CPU time spent (ms)=7040
                Physical memory (bytes) snapshot=2680807424
                Virtual memory (bytes) snapshot=19690971136
                Total committed heap usage (bytes)=1957691392
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters 
                Bytes Read=27767
        File Output Format Counters 
                Bytes Written=143
17/11/13 22:26:37 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.2.219:8032
17/11/13 22:26:37 INFO input.FileInputFormat: Total input paths to process : 1
17/11/13 22:26:37 INFO mapreduce.JobSubmitter: number of splits:1
17/11/13 22:26:37 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1510581226826_0005
17/11/13 22:26:37 INFO impl.YarnClientImpl: Submitted application application_1510581226826_0005
17/11/13 22:26:37 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1510581226826_0005/
17/11/13 22:26:37 INFO mapreduce.Job: Running job: job_1510581226826_0005
17/11/13 22:26:48 INFO mapreduce.Job: Job job_1510581226826_0005 running in uber mode : false
17/11/13 22:26:48 INFO mapreduce.Job:  map 0% reduce 0%
17/11/13 22:26:52 INFO mapreduce.Job:  map 100% reduce 0%
17/11/13 22:26:57 INFO mapreduce.Job:  map 100% reduce 100%
17/11/13 22:26:58 INFO mapreduce.Job: Job job_1510581226826_0005 completed successfully
17/11/13 22:26:58 INFO mapreduce.Job: Counters: 49
        File System Counters
                FILE: Number of bytes read=51
                FILE: Number of bytes written=237047
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=271
                HDFS: Number of bytes written=29
                HDFS: Number of read operations=7
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=2
        Job Counters 
                Launched map tasks=1
                Launched reduce tasks=1
                Data-local map tasks=1
                Total time spent by all maps in occupied slots (ms)=2331
                Total time spent by all reduces in occupied slots (ms)=2600
                Total time spent by all map tasks (ms)=2331
                Total time spent by all reduce tasks (ms)=2600
                Total vcore-milliseconds taken by all map tasks=2331
                Total vcore-milliseconds taken by all reduce tasks=2600
                Total megabyte-milliseconds taken by all map tasks=2386944
                Total megabyte-milliseconds taken by all reduce tasks=2662400
        Map-Reduce Framework
                Map input records=2
                Map output records=2
                Map output bytes=41
                Map output materialized bytes=51
                Input split bytes=128
                Combine input records=0
                Combine output records=0
                Reduce input groups=1
                Reduce shuffle bytes=51
                Reduce input records=2
                Reduce output records=2
                Spilled Records=4
                Shuffled Maps =1
                Failed Shuffles=0
                Merged Map outputs=1
                GC time elapsed (ms)=110
                CPU time spent (ms)=1740
                Physical memory (bytes) snapshot=454008832
                Virtual memory (bytes) snapshot=3945603072
                Total committed heap usage (bytes)=347078656
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters 
                Bytes Read=143
        File Output Format Counters 
                Bytes Written=29
----------
查看运行结果：
[hadoop@master hadoop]$ hdfs dfs -cat output/*
1       dfsadmin
1       dfs.replication
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
  • 131
  • 132
  • 133
  • 134
  • 135
  • 136
  • 137
  • 138
  • 139
  • 140
  • 141
  • 142
  • 143
  • 144
  • 145
  • 146
  • 147
  • 148

运行时的输出信息与伪分布式类似，会显示 Job 的进度。
可能会有点慢，但如果迟迟没有进度，比如 5 分钟都没看到进度，那不妨重启 Hadoop 再试试。
6.14。关闭 Hadoop 集群也是在 Master 节点上执行的：./sbin/stop-all.sh 即可

[hadoop@master sbin]$ stop-all.sh 
This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh
Stopping namenodes on [master]
master: stopping namenode
slave01: stopping datanode
slave03: stopping datanode
slave02: stopping datanode
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode
stopping yarn daemons
stopping resourcemanager
slave01: stopping nodemanager
slave02: stopping nodemanager
slave03: stopping nodemanager
slave01: nodemanager did not stop gracefully after 5 seconds: killing with kill -9
slave02: nodemanager did not stop gracefully after 5 seconds: killing with kill -9
slave03: nodemanager did not stop gracefully after 5 seconds: killing with kill -9
no proxyserver to stop
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

附录：增加一个master节点作为slaves ，这样运行节点就变成4个了，进入/usr/local/hadoop/etc/hadoop/修改slaves为：

master
slave01
slave02
slave03

$PWD就是当前目录，把此目录的slaves拷贝到其他三个节点上进行覆盖。

[hadoop@master hadoop]$ scp slaves hadoop@slave01:$PWD
[hadoop@master hadoop]$ scp slaves hadoop@slave02:$PWD
[hadoop@master hadoop]$ scp slaves hadoop@slave03:$PWD
 

 
  • 1
  • 2
  • 3

再启动：

[hadoop@master hadoop]$ ./sbin/start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [master]
master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-master.out
master: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-master.out
slave02: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-slave02.out
slave01: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-slave01.out
slave03: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-slave03.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-secondarynamenode-master.out
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-resourcemanager-master.out
slave02: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-nodemanager-slave02.out
slave01: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-nodemanager-slave01.out
master: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-nodemanager-master.out
slave03: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-nodemanager-slave03.out
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

这里写图片描述
至此hadoop安装完成！！！！

7。安装spark
先把spark-2.1.1-bin-hadoop2.7.tgz传到~里。
执行命令：

[hadoop@master ~]$ sudo tar -zxf ~/spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local/
[hadoop@master ~]$ cd /usr/local
[hadoop@master ~]$ sudo cp ./spark-2.1.1-bin-hadoop2.7.tgz/ ./spark
[hadoop@master ~]$ sudo chown -R hadoop:hadoop ./spark
 

 
  • 1
  • 2
  • 3
  • 4

7.1。 在/usr/local/spark/conf里，修改spark-env.sh添加：

export JAVA_HOME=/usr/java/jdk1.8.0_131
export SPARK_MASTER_IP=192.168.2.219
export SPARK_MASTER_PORT=7077
 

 
  • 1
  • 2
  • 3

7.2。在/usr/local/spark/conf里，添加内容到slaves，这里有4个运行节点把master也算进去了，master既做管理又做计算

[hadoop@master conf]$ cat slaves
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#    http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#
# A Spark Worker will be started on each of the machines listed below.
master
slave01
slave02
slave03
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22

7.3。 配置好后，将Master主机上的/usr/local/spark文件夹复制到各个节点上。在Master主机上执行如下命令：

[hadoop@master local]$ cd /usr/local/
压缩spark包
[hadoop@master local]$ tar -zcf ~/spark.master.tar.gz ./spark
[hadoop@master local]$ cd ~
把spark压缩包远程传到其他节点
[hadoop@master local]$ scp ./spark.master.tar.gz slave01:/home/hadoop
[hadoop@master local]$ scp ./spark.master.tar.gz slave02:/home/hadoop
[hadoop@master local]$ scp ./spark.master.tar.gz slave03:/home/hadoop
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

在slave01,slave02，slave03节点上分别执行下面同样的操作：

[hadoop@slave01 spark]$ sudo tar -zxf ~/spark.master.tar.gz -C /usr/local
[hadoop@slave01 spark]$ sudo chown -R hadoop:hadoop /usr/local/spark
 

 
  • 1
  • 2

7.4。启动Spark集群
启动Hadoop集群
启动Spark集群前，要先启动Hadoop集群。在Master节点主机上运行如下命令：

[hadoop@master ~]$ cd /usr/local/hadoop/
[hadoop@master ~]$ ./sbin/start-all.sh
 

 
  • 1
  • 2

启动Spark集群

[hadoop@master spark]$ ./sbin/start-all.sh 
starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-master.out
slave02: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-slave02.out
master: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-master.out
slave03: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-slave03.out
slave01: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-slave01.out
[hadoop@master spark]$ jps
4641 Master
4068 ResourceManager
3447 NameNode
4807 Worker
3608 DataNode
3832 SecondaryNameNode
4938 Jps
4207 NodeManager
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

在浏览器上查看Spark独立集群管理器的集群信息，在192.168.2.219主机上打开浏览器，访问http://192.168.2.219:8080,如下图：
这里写图片描述
安装成功！！！

7.5。关闭Spark集群
关闭spark：./stop-all.sh
关闭hadoop：./sbin/stop-all.sh

[hadoop@master spark]$ ./sbin/stop-all.sh 
master: stopping org.apache.spark.deploy.worker.Worker
slave03: stopping org.apache.spark.deploy.worker.Worker
slave02: stopping org.apache.spark.deploy.worker.Worker
slave01: stopping org.apache.spark.deploy.worker.Worker
stopping org.apache.spark.deploy.master.Master
[hadoop@master spark]$ cd ..
[hadoop@master local]$ cd hadoop
[hadoop@master spark]$ ./sbin/stop-all.sh 
master: stopping org.apache.spark.deploy.worker.Worker
slave03: stopping org.apache.spark.deploy.worker.Worker
slave02: stopping org.apache.spark.deploy.worker.Worker
slave01: stopping org.apache.spark.deploy.worker.Worker
stopping org.apache.spark.deploy.master.Master
[hadoop@master hadoop]$ ./sbin/stop-all.sh 
This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh
Stopping namenodes on [master]
master: stopping namenode
master: stopping datanode
slave02: stopping datanode
slave03: stopping datanode
slave01: stopping datanode
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode
stopping yarn daemons
stopping resourcemanager
slave03: stopping nodemanager
slave02: stopping nodemanager
slave01: stopping nodemanager
master: stopping nodemanager
no proxyserver to stop
 

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31

集群已经停止！！

完成！有什么意见和问题请站内评价和提问。谢谢！

收录于
spark

当前文章被收录于：

spark
15 篇文章 0 人学习
订阅专栏 查看详情
干货分享：Python搭建Spark分布式集群环境 @本文来源于公众号：csdn2299，喜欢可以关注公众号 程序员学府 这篇文章主要介绍了Spark分布式集群环境搭建基于Python版，Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。100 倍本文而是使用三台电脑来搭建一个小型分布式集群环境安装,需要的朋友可以参考下 前言 Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spar... 阅读详情

相关推荐

搭建spark集群

一、搭建集群 （一）私有云上创建三台虚拟机 创建配置过程，参看本博《 在私有云上创建与配置虚拟机》 （二）利用SecureCRT登录三台虚拟机 打开连接对话框 1.登录master 在master虚拟机上安装vim编辑器 执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件 添加两个域名服务器 存盘退出 执行命令：yum -y install vim 现在我们通过/et...

HTY_yysd的博客 5534

spark-2.1.1-bin-hadoop2.7的安装配置

配之前准备 将spark-2.1.1-bin-hadoop2.7.tgz安装包上传到xshell 在xshell上解压压缩包 输入解压命令： tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz 配置 1、配置环境变量 vim .bashrc 在文件末尾添加如下内容： #Spark export SPARK_HOME=/home/hadoop/spark-2.1.1-bin-hadoop2.7 export PATH=${SPARK_HOME}/..

大数据 1866

Spark集群环境搭建

实验目的： 通过该实验后，能掌握以下知识： 1 能够手动搭建Spark集群 2 能使用Spark Shell 实验说明： 本实验环境中已经配置好Hadoop集群环境和spark on yarn的运行环境，只需要在主服务器(namenode)上执行hdfs namenode -format 格式化命令后启动Hadoop集群。 本次搭建的Spark将使用Hadoop YARN作为集群的资源管理器。所以其需要基于Hadoop集群环境。 实验步骤： 步骤一：启动Hadoop集群 进入到hadoop

m0_63528892的博客 4687

最简单的Hadoop+Spark大数据集群搭建方法，看这一篇就够啦

最近有小伙伴私信我，flink 软件安装在虚拟机上很简单，就是安装包解压即可，有没有 hadoop + spark 的安装文档呢？所以今天周六刚好不用上班，花了一天时间整理了一下自己现在使用集群的搭建过程，希望对各位小伙伴有帮助！Tips：以下是集群搭建过程的记录啦，word 文档和搭建好了的集群，我后续会上传资源区啦，有需要的小伙伴后续可以在我的资源区下载哦！希望和大家一起进步，有啥不清楚滴地方可以一起交流！

m0_60732994的博客 8890

使用Docker搭建Hadoop集群和Spark集群

# 行命令退出安全模式 docker exec -it namenode hadoop dfsadmin -safemode leave # create the input directory on HDFS hadoop fs -mkdir -p input # create directory and files insdie namenode mkdir input echo "Hello World" >input/f1.txt echo "Hello Docker" >input

anron的专栏 1588

spark-2.1.1-bin-hadoop2.7.tgz.7z

基于hadoop2.7.2，scala2.11的sparklinux软件包，解压到指定目录后即可使用，实测可行

Spark分布式集群搭建

这里的Spark分布式集群是以我上一篇文章发的Hadoop分布式集群为基础搭建的，都是在UbuntuKylin系统中搭建的。过几天发Centos上的分布式集群搭建。

Zhangzghy的博客 1923

4D毫米波雷达

详解4D成像毫米波雷达

sangba2019的博客 2394

hadoop和spark分布式集群搭建及运用

hadoop和spark分布式集群搭建及简单运用 hadoop和spark分布式集群搭建及简单运用 1Hadoop集群部署 1-1Hadoop简介 1-2 环境及软件说明 1-2-1 虚拟机软件 1-2-2 JDK 1-2-3 Xshell 1-2-4 hadoop安装包 1-3 配置基础环境 1-3-1固定IP地址 1-3-2 安装配置JAVA环境 1-3-3 修改Hostnam

qq_22583741的博客 3727

告别‘耀斑’降落：手把手教你用PX4+激光测距仪实现固定翼精准自动着陆

本文详细介绍了如何利用PX4飞控与激光测距仪实现固定翼无人机的精准自动着陆，解决传统气压计在低空环境下的测量误差问题。通过硬件选型、安装要点、PX4参数配置及实战调校，帮助开发者实现厘米级高度感知，优化降落曲线，提升着陆稳定性与安全性。

weixin_30336061的博客 521

【iOS开发】dyld: Symbol not found: ___chkstk_darwin 问题解决

【iOS开发】dyld: Symbol not found: ___chkstk_darwin 问题解决 Xcode 13.2.1 运行到iOS12.x版本上崩溃报错如下：dyld: Symbol not found: ___chkstk_darwin dyld: Symbol not found: ___chkstk_darwin Referenced from: /private/var/containers/Bundle/Application/A424CEFD-51DB-450E-9D62-B8

wm9028的专栏 6566

Hadoop+Spark Standalone分布式集群环境搭建完整指南

大数据处理离不开分布式计算框架，Hadoop和Spark是目前最流行的两种解决方案。本文将手把手教你从零开始搭建一个Hadoop+Spark Standalone模式的分布式集群环境，包含详细步骤和常见问题解决方法。通过本文的详细步骤，您已经成功搭建了一个Hadoop+Spark Standalone的分布式集群环境。这个环境可以用于：大数据存储与处理(HDFS)分布式计算(MapReduce)内存计算(Spark)大数据学习与开发。

2401_84460368的博客 1996

hi3516cv610在PQStream上实现拉出图像，windows和板端操作记录

PQStream拉出图像

weixin_51838255的博客 730

基于docker的spark-hadoop分布式集群搭建

基于docker的spark-hadoop分布式集群搭建一、docker的安装1.windows10专业版安装2.windows10家庭版安装3.对docker进行测试4.创建需要的镜像与容器二、环境的配置1.更换apt源2.安装必要的网络工具3.将master提交作为基础镜像4.在镜像基础上创建slave1和slave2三、完全分布式hadoop的搭建1.系统配置IP分配主机名设置配置hosts重启网络检查网络2.创建hadoop账户3.安装和配置JAVA环境下载并解压JDK4.SSH免密登录安装并配置S

独醉的博客 3917

为什么你的PROFINET IRT同步性能不达标？等时模式常见配置误区盘点

本文深入剖析了PROFINET IRT等时模式同步性能不达标的常见原因。文章直击痛点，系统盘点了从硬件兼容性、拓扑组态、过程映像分区分配，到同步OB配置、时序参数调校及带宽管理等关键环节的配置误区，并提供了实用的诊断思路与性能优化清单，帮助工程师精准定位并解决同步抖动、时序混乱等难题。

ujm5678901的博客 457

语音测试（二）音频标注（praat）

通过点击红线下方的圆点进行区域划分，在区域中标注所属的类别。按住Alt+Backspace 键取消蓝色线条。

beishida123的博客 3740

windows平台使用Docker搭建分布式Spark 与 hadoop集群

续前节 windows平台使用Docker搭建分布式hadoop集群 安装分布式Spark篇 1. 运行windows平台使用Docker搭建分布式hadoop集群产生的镜像文件hadoop_centos docker run -v E:\COURSE\spark:/home -itd --privileged --network hadoop -h "node01" --name "node01" -p 9870:9870 -p 8088:8088 -p 4040:4040 -p 8080:808.

m0_48275578的博客 4780

Jetson Nano系统重装的艺术：从格式化到烧录的深度解析

本文详细解析了Jetson Nano系统重装的完整流程，从SD卡格式化到系统镜像烧录的进阶技巧，包括硬件选择、软件准备、常见问题处理及深度学习环境配置。特别推荐使用三星EVO Plus SD卡和官方电源以确保稳定性，适合开发者快速掌握嵌入式设备系统重装的核心技术。

weixin_28273593的博客 611

在Hadoop上安装Spark

Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 最大的特点就是快，可比 Hadoop MapReduce 的处理速度快 100 倍。本文没有使用一台电脑上构建多个虚拟机的方法来模拟集群，而是使用三台电脑来搭建一个小型分布式集群环境安装。 本教程采用Spark2.0以上版本（比如Spark2.0.2、Spark2.1.0等）搭建集群，同样适用于搭建Spa...

SCS199411的博客 4633

18、Excel VBA编程：自定义函数创建与代码调试全攻略

本文详细介绍了Excel VBA中自定义函数的创建方法，以获取单元格注释为例演示了完整开发流程，并深入讲解了代码调试的重要性与核心工具。内容涵盖三种主要错误类型及其应对策略，系统介绍了调试工具栏、断点、逐行执行、Locals窗口、Immediate窗口等实用功能。通过综合案例展示了如何运用调试技术解决实际问题，并总结了提前规划、逐步测试、日志记录等最佳实践，帮助读者提升VBA编程效率与代码质量。

life6的博客 101

SAP B1中文培訓教材_SDK

公司内部培训资料，对开发工具 ，DIAPI， UIAPI，Add-ON有详细解说

hadoop、zookeeper、hbase、spark集群环境搭建

本文详细讲解如何搭建hadoop、zookeeper、hbase和spark的集群环境，这里我是在本地虚拟机上搭建的集群，但是和实际环境的配置差不多。我会从零开始搭建并且尽量写得详细，所以还会讲到很多配置linux环境的东西，希望大家不要烦，务必按照步骤一步步做下去。 本文主要讲了以下内容： Linux系统的一些基础配置 安装jdk 配置SSH免登陆 hadoop的安装和配置 zookeeper集

Trigl的博客 1万+

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

基于docker的spark-hadoop分布式集群搭建：pyspark

基于docker的spark-hadoop分布式集群之一： 环境搭建 一、软件准备 1、基础docker镜像：ubuntu，目前最新的版本是18 下载hadoop安装包 （wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz） 下载spark安装包 （wget http://...

Poor - Because you have no ambition 2607

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员，提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列，各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性，请参见数据手册。有关 ARM Cortex™-M4F 内核的信息，请参见《Cortex™-M4F 技术参考手册》。

NTscan扫描工具

ntscan是一个扫描器，可以扫描没有密码和弱密码的共享，先到配置文件中填写猜测的用户名和密码，扫描过程中右侧出现的是扫描日志。

CentOS7 + JDK8 虚拟机安装与 Hadoop + Spark 集群搭建实践

在大数据时代，Hadoop 和 Spark 是两种非常重要的分布式计算框架。本文将详细介绍如何在 CentOS7 + JDK8 的虚拟机环境中搭建 Hadoop + Spark 分布式集群，包括 Spark Standalone 和 Hadoop + Spark on YARN 两种模式，并提供具体的代码示例。

Gx_2647664843的博客 1013

基于 docker-desktop的spark-hadoop 分布式集群搭建（2022）

基于学长们的基础，加以修改，成功完成2022年版本docker的spark-hadoop 分布式集群搭建，基于spark3.3版本

m0_46526335的博客 2601

Spark集群的搭建

（2）配置Workers文件。复制Workers.template文件并重命名为Workers，打开Workers文件删除原有内容，并添加如下代码，每一行代表一个子节点的主机名，这里的workers文件名为，slaves.template。（3）进入Spark的/conf目录下，复制spark-env.sh.template文件并重命名为spark-env.sh。(7)通过命令jps查看进程，开启Spark集群后，master节点增加了Master进程，而子节点则增加了Worker进程。

qq_74137843的博客 2335
上一篇： Spark学习（二）Spark高可用集群搭建
下一篇： k8s pvc 扩容方法
点赞 4
评论 0
书签 书签 9
hxpjava1
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值