#Hadoop全分布式安装 #mysql安装 #hive安装#flink yarn安装

分布式（多台机器部署不同组件）与集群（多台机器部署相同组件）概念。

Linux基础命令

linux具有文件数：目录、文件，从根目录开始，路径具有唯一性。

pwd：显示当前路径

特殊符号：

/：根目录

.：隐藏文件，如果路径以.开始，表示当前目录下

..：当前目录下的上一级

~：当前目录的home目录

--help：帮助命令使用

linux常用操作命令

tab键：自动补全

• ls：显示指定目录内容

默认：当前路径

-a：显示所有文件及目录

-l：显示详细信息 ls -l = ll

-la：l和a都使用

• cd：切换目录 （cd ../、cd ~）
• mkdir：创建目录

-p确保父目录名称存在，不存在就建一个

• touch：创建一个空文件
• rm：删除文件或目录

-f：强制删除

-r：将目录及以下所有递归逐一删除

• cp（copy file）命令：用于复制文件或目录。

-r：若给出的源文件是一个目录文件，此时将复制该目录下所有的子目录和文件。

• mv（move file）命令：用来为文件或目录改名、或将文件或目录移入其它位置。
• cat：用于连接文件并打印到标准输出设备如console控制台上。适合小文件内容查看。
• more：类似cat，不过会以一页一页的形式显示，更方便使用者逐页阅读，翻页结束自动退出。适合大文件 查看。按space键翻下一页，按b往回（back）上一页
• tail：用于查看文件的结尾部分的内容

-n 用于显示行数，默认为10，即显示 10 行的内容。

-f 用于实时显示文件动态追加的内容。会把文件里的最尾部的内容显示在屏幕上，并且不断刷新，只要文件有更新，就可以看到最新的文件内容。

• | 管道命令：将前一个命令执行的结果作为内容交给下一个命令处理。可以形成多级管道操作。

命令1|命令2 可以将命令1的结果通过命令2作进一步的处理。

• echo 命令：用于内容的输出，将内容输出到console控制台上。

echo string

• > 输出重定向（覆盖）命令

command > file 执行command然后将输出的内容存入file，file内已经存在的内容将被新内容覆盖替代。

• >> 输出重定向（追加）命令

command >> file 执行command然后将输出的内容存入file，新内容追加在文件末尾。

hadoop全分布集群部署

完全分布式的安装与配置

jdk解压下载

cd /export/server/

tar zxvf (jdk名称.tar.gz) #解压

vim /etc/profile #配置环境变量

export JAVA_HOME=/export/server/jdk1.8.0_241

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile #重新加载环境变量文件

#验证 java -version

jdk拷贝

cd ~ #home目录下！！！（一定要转到根目录下！！）

scp -r /export/server/jdk1.8.0_241/ root@node2:/export/server/

#文件夹拷贝，其中-r代表 文件夹

scp /etc/profile root@node2:/etc/profile #环境变量拷贝

hadoop配置文件修改

目录结构

bin：管理脚本

etc：配置文件

sbin：启动/关闭脚本

share：jar包所在的目录，官方自带示例

所有配置文件目录：/export/server/hadoop-3.1.3/etc/hadoop

hadoop-env.sh：修改配置文件路径

#文件末添加