安装Hadoop伪分布式及spark Local模式_hadoop(伪分布式)+spark(local模式)(1)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

* 保存退出.bashrc，使用`source ~/.bashrc`让我们刚刚的配置生效。使用`java -version`查看是否配置java成功  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/0223d25f3df547059c52f093a3d664e7.png)


## 二、 安装Hadoop伪分布式


`Hadoop下载地址：https://dlcdn.apache.org/hadoop/common/，我下的是hadoop-3.3.6.tar.gz 696M的那个`


1. 使用tar命令解压Hadoop包到/usr/local目录  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/6ac5ae324cf641b0b72d59f6d4e6b429.png)
2. 使用chown修改Hadoop权限，查看相关版本信息  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/39727b4bdc3e4409a471986f9c9483d3.png)
3. 修改配置文件 `/usr/local/hadoop（这个hadoop是我们解压后重命名的文件夹名）/etc/hadoop/`目录下


* core-site.xml

hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000

* hdfs-site.xml

dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data

4. 格式化NameNode名称节点

 

cd /usr/local/hadoop
./bin/hdfs namenode -format

 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a917558faf7d4084af144667d7fdc013.png)
5. 启动Hadoop，开启守护进程，通过JPS查看进程数目应该是4个

 

cd /usr/local/hadoop
./sbin/start-dfs.sh

 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/aa39fa66d8bc43f39e24d5edb5430541.png)
6. 浏览器查看localhost:9870（或者ip:9870）   
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/6410a3fe693e4bd298e621dab5eda1e4.png)


## 三、安装Spark Local模式


`下载地址：https://archive.apache.org/dist/spark/，我这里下的是spark-3.4.2-bin-without-hadoop.tgz`


1. 使用tar命令解压spark包到/usr/local目录  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/54163e7031ae4b85b99977bd7629055c.png)
2. 修改解压后的文件夹为spark，并修改内容所有者和所属组为hadoop  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/87ddc5e075fe48a78349aa04051a5223.png)
3. 修改./conf/spark-env.sh配置文件（需要使用cp复制模板文件再进行修改）

 

cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh

 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/7dab89c67d4342f7adb1b18d2655f298.png)

 

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/f5eac9e267ea428fa79b8ac2c2748055.png)
4. 看spark是否安装成功

 

cd /usr/local/spark
bin/run-example SparkPi 2>&1 | grep “Pi is”

 虽然结果可能不一定是3.14……  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/03cf75960a1b4509a7ff6c2a5428d355.png)


![img](https://img-blog.csdnimg.cn/img_convert/c58777e3a99044eaa4f7cf09028d26f7.png)
![img](https://img-blog.csdnimg.cn/img_convert/56da27201ee9b56bd32b0f2ed8a3698b.png)
![img](https://img-blog.csdnimg.cn/img_convert/fd7828fd910d9a5e4f08cd4410151ebc.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.youkuaiyun.com/topics/618545628)**

件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.youkuaiyun.com/topics/618545628)**