m0_73566497的博客

（4）同步jar包，解决jar包冲突问题。（5）同步jar包，解决jar包冲突问题。（1）下载hive安装包，在虚拟机/export/software目录下执行rz命令上传hive安装包。

2.安装Hadoop，以解压缩的方式安装Hadoop，将虚拟机liumengting1中/export/software目录中存放的Hadoop安装包安装到/export/servers/hadoop-HA目录。2.安装Hadoop，以解压缩的方式安装Hadoop，将虚拟机liumengting1中/export/software目录中存放的Hadoop安装包安装到/export/servers/hadoop-HA目录。

（1）添加依赖，在pom.xml文件中添加zookeeper依赖：（2）连接zookeeper服务，创建cn.itcast.zookeeper包，在该包中创建ZooKeeperDemo类，该类用于实现创建会话和操作ZooKeeper，在类中创建main()和getConnect()方法，getConnect()方法用于实现指定ZooKeeper服务创建会话，代码及运行结果如下：

通过复制ZooKeeper安装目录的方式安装另外两个ZooKeeper，为了便于区分，分别将3个ZooKeeper的安装目录重命名为zookeeper-3.7.2-001、zookeeper-3.7.2-002、zookeeper-3.7.2-003。（1）创建目录，进入到/export/servers目录下，创建zookeeper目录，在该目录中存放伪分布式模式部署的ZooKeeper集群的安装目录。

（1）自定义mapper组件，map()方法指定的处理逻辑为:首先将每个键值对中的值转换为String类型，即获取数据块的每行数据；然后根据分隔符空格将每行数据拆分为多个单词，并将这些单词存放到数组；（1）mapper组件和reducer组件的定义和本地模式一样。已知有如下格式的日志文件，请统计每天的error次数。（3）双击package将本项目打包成jar文件。

6.启动Hadoop集群，在虚拟机liumengting1上分别执行“start-dfs.sh”和“start-yarn.sh”命令，启动Hadoop的HDFS和YARN。1.关闭Hadoop的HDFS和YARN，依次执行“stop-yarn.sh”和“stop-dfs.sh”命令关闭Hadoop的YARN和HDFS。4.分发hdfs_site.xml。

第四步：获取客户端对象（项目中创建cn.itcast.hdfsdemo包，并在改包下创建HDFS_CURD类，用于构建HDFS的客户端实例）第六步：从HDFS下载文件，在HDFS_CURD类中添加testDownloadFileToLocal()方法将HDFS上的文件下载到本地。第五步：上传文件到HDFS，在HDFS_CURD类中添加textAddFileToHdfs()方法将本地系统的文件上传到HDFS。第一步：在Windows配置Hadoop运行环境。第七步：目录操作，在HDFS_CURD类中添加。

（4）执行crontab -e命令编辑Crontab文件，使用crontab -l命令可查看指定的定时任务。第一步：创建shell脚本（在虚拟机1下的/export/data目录下执行vi uploadHDFS.sh命令，编辑shell脚本文件，具体代码如下：）（3）进入到虚拟机的/export/data目录下，为shell脚本添加可执行权限，目的是通过Crontab的定时任务运行Shell脚本文件。（2）使用crontab时，必须保证是运行状态，启动Crontab服务。

(5)第五步：分发Hadoop安装目录（将Hadoop安装目录分发至虚拟机liumengting2、liumengting3中存放安装程序的目录）(4)第四步：修改Hadoop配置文件(进入到 /export/servers/hadoop-3.3.4/etc/hadoop/目录下)(6)第六步：分发系统环境变量文件（将系统环境变量文件分发至虚拟机liumengting2、liumengting3的/etc目录）(3)第三步：使用hadoop version命令验证Hadoop的系统环境变量是否配置成功。

2)安装完成之后，进入到安装目录/export/servers/wfb-hadoop/Hadoop-3.3.4,并执行ll命令查 看Hadoop安装目录中的所有文件。6）在安装目录虚下的/etc/hadoop目录执行vi workers命令，配置Hadoop从节点运行的服务器，将workers文件的默认内容改为hadoop1。在安装目录下执行如下命令，进行HDFS格式化(我已经进行格式化了，不再展示命令执行结果)，出现successfully formatted说明格式化成功。

第六步：在虚拟机hadoop1中使用ssh hadoop2命令即可实现在hadoop1登录访问hadoop2，其他虚拟机之间也可以进行互相登录和访问。第二步：密钥文件存储在/root/.ssh目录，执行cd /root/.ssh命令进入存储密钥文件的目录，在该目录下执行ll命令查看目录下的文件。第三步：将该虚拟机生成的公钥文件复制到集群中相关联的所有虚拟机中（包括自身），从而实现此虚拟机免密登录其他相关联的虚拟机。实现虚拟机之间能够互相登录，比如可以在hadoop1上面登录hadoop2。