关关呀-优快云博客

原创 zookeeper部署

1.查看是否安装好jdk2.在/opt/software中上传zookeeper的安装包3.解压4.进入zookeeper中找到conf文件夹5.查看conf文件夹6.将zoo_sample.cfg复制到zoo.cfg中7.修改zoo.cfg文件8.创建/tmp/zookeeper/data 和 /tmp/zookeeper/log文件夹9.在/tmp/zookeeper/data目录下建立myid文件，并编辑10...

2022-05-08 22:53:27 636 1

原创 hive部署

1.在/opt/softwares上传hive的安装包，并解压到/opt/module中2.将apache-hive-3.1.2-bin改名为hive3.修改/etc/profile.d/my_env.sh4.source /etc/profile.d/my_env.sh让它生效5.在lib解决日志jar包冲突6.初始化元数据库7.启动hiveHive 元数据配置到 MySQL（要提前安装好mysql）1.将MySQL的JDBC驱动...

2022-05-08 14:32:59 775

原创虚拟机的快照

虚拟机快照我领会到它的重要性了。它的主要功能就是拍下当前的状态，以便后面可能会因为一些错误操作无法解决，可以选择回退的一种方式。具体操作：1.右键点击你要进行拍照的虚拟机—>快照—>拍摄快照—>可以对它修改名字或者进行快照描述2.最后可以在快照管理器中查看自己所拍的东西...

2021-09-26 14:12:23 671

原创 Httpfs服务器

开启httpfs服务器：1.首先在core-site.xml文件中添加允许通过代理访问的主机节点、用户所属组的代码【其中guanqimin为我的用户名】2.修改完成后对其他从机进行分发：xsync $HADOOP_HOME/etc/hadoop/core-site.xml3.启动httpfs服务：hdfs --daemon start httpfs4.hdfs和yarn的更新同步处理（最重要的一步）：hdfs dfsadmin -refreshSuperUserGroup...

2021-09-26 13:58:02 407

原创【BUG处理】jps命令，无法正常显示进程

出错现象：1.启动hdfs，再输入jps时发现进程没有正确显示。2.查看日志datanodes，发现有错3.查看日志namenode，会出现这样的错误：Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.解决方法：1.有可能是之前格式化多次或者是手动输入了主要配置文件（有时候即使肉眼看起来内容一样，但其中也有可以会出现错误，所以建议配置文件最好是去复制粘贴。相关配置文件可以.

2021-09-25 15:44:45 3284

原创 Hadoop集群搭建知识点和添加从节点操作

1.Hadoop集群搭建知识(具体相关搭建步骤可参考Hadoop入门(七)——Hadoop安装（图文详解步骤2021）_Leokadia Rothschild的博客-优快云博客_hadoop 安装这里面十分全面，我这里不做具体的操作了，而是整理集群搭建的大概所需步骤）1.在虚拟机上安装centos7，先建立一台名为hadoop100的虚拟机，进行vmware虚拟网络设置、window10的地址配置、配置hadoop100的ip地址为192.168.10.102，设置主机名、host映射..

2021-09-17 12:31:47 1390