Hadoop学习

-1. 使用rsa加密技术，生成公钥和私钥，一路回车即可 01 02 03都要生成

[root@tianqinglong01 ~]# cd ~

[root@tianqinglong01 ~]# ssh-keygen -t rsa

-2.进入~/.ssh目录下，使用ssh-copy-id命令 (01 02 03 都一样)

[root@tianqinglong01 ~]# cd ~/.ssh

[root@tianqinglong01 .ssh]# ssh-copy-id root@tianqinglong02

输入02密码

[root@tianqinglong01 .ssh]# ssh-copy-id root@tianqinglong03

输入03密码

-3.进行验证

[root@tianqinglong01 .ssh]# ssh tianqinglong #发现直接登陆过来了，不需要密码

注意:三台机器提前安装好的情况下，需要同步公钥文件。如果使用克隆技术。那么使用同一套密钥对就方便多了。

5.时间同步

1 选择集群中的某一台机甚作为时间服务器。tianqinglong01

2 保证这台服务第安装了ntp.x86_64。

3 保证ntpd服务运行…- —

[root@tianqinglong01 .ssh]# yum install ntp -y

[root@tianqinglong01 .ssh]# vim /etc/ntp.conf

Hosts on local network are less restricted.

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap # 添加集群中的网络段位

restrict 192.168.10.e mask 255.255.255.0 nomodify notrap

Use public servers from the pool.ntp.org project.

#Please consider joining the pool (http://nw.pool.ntp.org/join.html

server 0.centos,pool.ntp.org iburst注释掉

server 1.centos.pool.ntp.org iburst注释掉

server 2.centos.pool.ntp.org iburst注释掉

server 3.centos. pool.ntp.org iburst注释掉

server 127.127.1.0 -master作为服务器

:wq

[root@tianqinglong01 .ssh]# systemctl start ntpd

[root@tianqinglong01 .ssh]# systemctl status ntpd

02 安装 yum install ntpdate -y

ntpdate -u tianqinglong01

03 安装 yum install ntpdate -y

ntpdate -u tianqinglong01

其他机器要使用root定义定时器

[root@tianqinglong02 .ssh]#crontab -e

• • • • • /usr/sbin/ntpdate -u tianqinglong01 > /dev/null 2>&1

:wq

[root@tianqinglong03 .ssh]#crontab -e

• • • • • /usr/sbin/ntpdate -u tianqinglong01 > /dev/null 2>&1

:wq

02 03的jdk环境配置

[root@tianqinglong01 local]# scp -r jdk /tianqinglong02:$PWD

[root@tianqinglong01 local]# scp -r jdk /tianqinglong03:$PWD

6.Hadoop安装与环境变量配置

1.上传和解压两个软件包

[root@tianqinglong01 ~J# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/

[root@tianqinglong01 ~J# tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/

2.进入local里,给两个软件更名

[root@tianqinglong01 ~J# cd /usr/local/

[root@tianqinglong01 localJ# mv 1.8.0_221/jdk

[root@tianqinglong01 localJ# mv hadoop-2.7.6/ hadoop

3.配置环境变量

[root@tianqinglong01 hadoopJ# vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@tianqinglong01 hadoopJ# source /etc/profile

[root@tianqinglong01 hadoopJ# cd

[root@tianqinglong01 ~J# hadoop version

02 03 也要安装hadoop

[root@tianqinglong01 localJ# scp -r hadoop /tianqinglong02:$PWD

[root@tianqinglong01 localJ# scp -r hadoop /tianqinglong03:$PWD

[root@tianqinglong01 localJ# scp /etc/profile tianqinglong02:/etc/

[root@tianqinglong01 localJ# scp /etc/profile tianqinglong03:/etc/

02

[root@tianqinglong02 .sshJ# source /etc/profile

[root@tianqinglong02 ~J# hadoop version

03

[root@tianqinglong03 .sshJ# source /etc/profile

[root@tianqinglong03 ~J# hadoop version

NameNode 和 DateNode

---

NameNode ：是用来维护集群的目录树结构，并对外提供服务的节点

DateNode ： 数据存储的节点

Hadoop的配置文件

---

我们需要通过配置若干配置文件，来实现Hadoop集群的配置信息。需要配置的文件有:

hadoop-env.sh

yarn-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

core-site.xml

[root@tianqinglong01 ~]# cd $HADOOP_HOME/etc/hadoop/

[root@tianqinglong01 hadoop]# vi core-site.xml

fs.defaultFS

hdfs://tianqinglong01:8020

hodoop.tmp.dir

/usr/local/hodoop/tmp

hdfs-site.xml

[root@tianqinglong01 hadoop]# vi hdfs-site.xml

dfs.namenode.name.dir

file://${hadoop.tmp.dir}/dfs/name

</ property>

dfs.datanode.data.dir

file://${hadoop.tmp.dir}/dfs/data

dfs.replicationc

3

dfs.blocksize

134217728

dfs.namenode.secondary.http-address

tianqinglong02:50090

dfs.nomenode.http-address

tianqinglong01:50070

mapred-site.xml

[root@tianqinglong01 hadoop]# cp mapred-site.xml.template mapred-site.xml

[root@tianqinglong01 hadoop]# vi mapred-site .xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

tianqinglong01:10020

mopreduce-jobhistory.webapp.address

tianqinglong01:19888

yarn-site.xml

[root@tianqinglong01 hadoop]# vi yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

tianqinglong01

yarn.nodemanager.aux-services.mapreduce_shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.address

tianqinglong01:8032

yarn.resourcemanager.scheduler.address

tianqinglong01:8030

yarn.resourcemanager.resource-tracker.address

tianqinglong01:8031

yarn.resourcemanager.admin.address

tianqinglong01:8033

yarn.resourcemanager.webapp.address

tianqinglong01:8088

hadoop-env.sh

[root@tianqinglong01 hadoop]# vim hadoop-env.sh

…

The java implementation to use

export JAVA_HOME=/usr/local/jdk

…

yarn-env.sh

[root@tianqinglong01 hadoop]# yarn-env.sh

…

some Java Paramters

JAVA_HOME=/usr/local/jdk

…

slaves

此文件用于指定datanode守护进程所在的机器节点主机名

[root@tianqinglong01 hadoop]# vim slaves

tianqinglong01

tianqinglong02

tianqinglong03

分发到另外两台

[root@tianqinglong01 hadoop]# cd …

[root@tianqinglong01 etc]# ll

[root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong02:$PWD

[root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong03:$PWD

格式化集群与启动

---

格式化集群

1.在tianqinglong01机器上运行命令

[root@tianqinglong01 ~]# hdfs namenode -format

[root@tianqinglong01 ~]# cd /usr/local/hadoop/tmp/dfs/name/current

启动

1.启动脚本

– start-dfs.sh :用于启动hdfs集群的脚本

– start-yarn.sh :用于启动yarn守护进程

– start-all.sh :用于启动hdfs和yarn

2.关闭脚本

– stop-dfs.sh :用于关闭hdfs集群的脚本

– stop-yarn.sh :用于关闭yarn守护进程

– stop-all.sh :用于关闭hdfs和yarn

[root@tianqinglong01 ~]# ssh-copy-id tianqinglong01

[root@tianqinglong01 ~]# start-dfs.sh

[root@tianqinglong01 ~]# jps #查看

HDFS的shell命令

---

HDFS其实就是一个分布式的文件系统，我们可以使用一些命令来操作这个分布式文件系统上的文件。

-访问HDFS的命令:

hadoop dfs —已过时

hdfs dfs

-小技巧

1.在命令行中输入hdfs。回车后，就会提示hdfs.后可以使用哪些命令，其中有一个是dfs.

2.在命令行中输入hdfs dfs，回车后，就会提示dfs后可以添加的一些常用shell命令。

-注意事项

分布式文件系统的路径在命令行中,要从/开始写,即绝对路径。

创建目录

hdfs dfs -mkdir (-p) /目录

hdfs dfs -mkdir (-p) /data

上传指令

echo “hello hdfs” >> a1

hdfs dfs -put a1 /data

创建空文件

hdfs dfs -mkdir /empty

hdfs dfs touchz /empty/empty1

向分布式文件系统中的文件里追加内容

echo “hello world” >> e1

hdfs dfs -appendToFile e1 /empty/empty1

下载指令

hdfs dfs -get /empty/empty1 ./

##扩展 拷贝指令

hdfs dfs -copyToLocal /empty ./

合并下载

• 把多个文件里面数据合并成一个

echo “hello 1” >> file1

echo “hello 2” >> file2

echo “hello 3” >> file3

hdfs dfs -put file* /

hdfs dfs -getmerge /file* ./file

cat file

hello 1

hello 2

hello 3

移动文件

hdfs dfs -mv /file* /data

重命名

hdfs dfs -mv /test /test1

复制

hdfs dfs -cp /data/file1 /

删除命令

hdfs dfs -rm /file1

hdfs dfs -rm -r /a #递归删除

hdfs dfs -rmdir /test1 #只能删除空文件夹

查看磁盘利用率和文件大小

hdfs dfs -df /

hdfs dfs -df -h / #可以直观的看

hdfs dfs -du -h /data #查看data文件夹里面的每个文件大小

hdfs dfs -du -s /data #查看data文件夹里面的总文件大小

修改权限的

hdfs dfs -chmod 777 /data

hdfs dfs -chown shawn:shwan /data

修改副本数量

hdfs dfs -setrep 5 /data #默认为3

查看文件状态

测试

hdfs dfs -test -e /data/a1 # 看不出来什么

hdfs dfs -test -e /data/a1 && echo “exists” || echo “none”

---

HDFS的块

---

hdfs不适合小文件的存储！块是固定的~ 你存1M和127M都要占用那么多空间

HDFS的优点

1, 高容错性(硬件故障是常态)数据自动保存多个副本，副本丢失后，会自动恢复

2, 适合大数据集:GB。TB、甚至PB级数据、千万规模以上的文件数量，1000以上节点规模。

3, 数据访问:一次性写入。多次读取;保证致据一致性,安全性

4, 构建成本低:可以构建在廉价机器上。

5, 多种软硬件平台中的可移植性

6, 高效性:Hodoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

7, 高可靠性:Hadoop的存储和处理数据的能力值得人们信赖,

HDFS的缺点

1.不适合做低延迟数据访问:

HDFS的设计目标有一点是:处理大型数据集，高吞吐率。这一点势必要以高延迟为代价的。

因此HDFS不适合处理用户要求的毫秒级的低延迟应用请求

2.不适合小文件存储:

一个是大量小文件需要消耗大量的寻址时间，违反了HDFS的尽可能减少寻址时间比例约设计目标。

第二个是内存有限，一个block元数据大内存消耗大约为159个字节，存储一亿个block和

一亿个小文件都会消耗20G内存。因此相对来说。大文件更省内存。

3.不适合并发写入,文件随机修改:

HOFS上的文件只能拥有一个写者，仅仅支持append操作。不支持多用户对同一个文件的写操作，

以及在文件任意位置进行修改

HDFS的体系结构解析

---

HDFS的开机启动过程

---

非第一次启动集群

最后

还有Java核心知识点+全套架构师学习资料和视频+一线大厂面试宝典+面试简历模板可以领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书+2021年最新大厂面试题。

数据，并保证各个节点的动态平衡，因此处理速度非常快。

7, 高可靠性:Hadoop的存储和处理数据的能力值得人们信赖,

HDFS的缺点

1.不适合做低延迟数据访问:

HDFS的设计目标有一点是:处理大型数据集，高吞吐率。这一点势必要以高延迟为代价的。

因此HDFS不适合处理用户要求的毫秒级的低延迟应用请求

2.不适合小文件存储:

一个是大量小文件需要消耗大量的寻址时间，违反了HDFS的尽可能减少寻址时间比例约设计目标。

第二个是内存有限，一个block元数据大内存消耗大约为159个字节，存储一亿个block和

一亿个小文件都会消耗20G内存。因此相对来说。大文件更省内存。

3.不适合并发写入,文件随机修改:

HOFS上的文件只能拥有一个写者，仅仅支持append操作。不支持多用户对同一个文件的写操作，

以及在文件任意位置进行修改

HDFS的体系结构解析

---

HDFS的开机启动过程

---

非第一次启动集群

最后

还有Java核心知识点+全套架构师学习资料和视频+一线大厂面试宝典+面试简历模板可以领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书+2021年最新大厂面试题。
[外链图片转存中…(img-QMzZTQDm-1718854345971)]