Hadoop
关注
分享
扫一扫
文章平均质量分 93
好笨的菜鸟
这个作者很懒，什么都没留下…
展开
-
HDFS HA(Quorum Journal Manager) 架构解析
HDFS 集群介绍 hdfs采用master-slave架构。集群中主要由NameNode、DataNode、Secondary NameNode、fsimage、editslog等5个部分组成。 NameNode：存储hdfs中的元数据信息（如：命名空间、副本数、Blok块分布、文件名，文件大小，文件位置等），接收DataNode的心跳包和块报告，管理所有的DataN...原创 2019-04-06 21:10:01 · 559 阅读 · 0 评论 -
Hadoop YARN HA架构
YARN架构 ZKFC： zkfc在yarn中作为一个线程，处理RM的状态切换，并定期想zk发送心跳。 一直监控lock文件，当文件不存在时，尝试写入，成功则为Active状态，失败则是Standby状态。 RMStateStore： 存储NM中app的信息，在HA中默...原创 2019-04-07 01:05:50 · 336 阅读 · 0 评论 -
Hadoop HA部署(QJM)
准备 三台Linux虚拟机(这里是centos7.5，我将其分别命名为hadoop001、hadoop002、hadoop003) jdk1.8.0_151 hadoop-2.6.0-cdh5.7.0 zookeeper-3.4.6创建hadoop用户 在三虚拟机上创建hadoop用户：systemctl stop firewalld.s...原创 2019-04-08 03:27:47 · 648 阅读 · 0 评论 -
hadoop2.6.0-cdh5.7.0编译支持压缩
依赖准备 CentOS7 apache-maven-3.6.1-bin.tar.gz hadoop-2.6.0-cdh5.7.0-src.tar.gz protobuf-2.5.0.tar.gz jdk-7u80-linux-x64.tar.gz 编译hadoop依赖的jar包（可选）注：编译时Maven3.3.9及以上版本，...原创 2019-05-02 20:33:38 · 350 阅读 · 0 评论 -
CDH5.16.1完全离线部署
目录CDH下载配置hostname及hosts关闭所有节点的防火火墙及清空规则关闭所有节点的selinux设置所有节点的时区一一致及时钟同步设置时区时间同步部署集群的JDK离线部署MySQL5.7CDH部署创建CDH的元数据库和⽤户、amon服务的数据库及⽤户hadoop001节点部署mysql jdbc jar离线部署cm server及agenthadoop001节点部署离线parcel源ha...原创 2019-08-05 23:56:55 · 1862 阅读 · 0 评论 -
CDH完美卸载
目录停止CM Server 和 所有Agent删除服务数据在所有节点上杀死所有 cloudera 运行的进程卸载CDH的磁盘挂载删除CDH服务组件的配置文件及软件安装目录删除数据库删除 cloudera-scm 用户停止CM Server 和 所有Agent/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent stop/o...原创 2019-08-06 00:23:50 · 3043 阅读 · 0 评论 -
YARN JVM重用功能——uber
目录Hadoop 1.x中的JVM重用功能简单回顾一下Hadoop 1.x中的JVM重用功能配置的方法Hadoop 2.x中的JVM重用功能简述uber的原理Hadoop 1.x中的JVM重用功能简单回顾一下Hadoop 1.x中的JVM重用功能用户可以通过更改配置，来指定TaskTracker在同一个JVM里面最多可以累积执行的Task的数量（默认是1）。这样的好处是减少JVM启动、退出的...转载 2019-08-22 22:02:00 · 706 阅读 · 0 评论