Zhuuu_ZZ的博客

Cloudera CDH6安装教学一 前置条件二 安装前准备1、所有机器安装JDK2、所有机器关闭防火墙3、所有机器配置主机名与添加互信4、各个节点上传对应安装包5、所有机器安装一些依赖以及删除部分依赖6、所有机器修改一些系统参数7、所有节点配置时间同步8、cdh5节点安装mysql9、所有机器整理mysql的驱动包三 安装CM组件四 cdh1安装CDH组件五 修改server和agent的配置文件六 启动CM，开始CDH集群一 前置条件CentOS7/RHEL7以上本教程使用5台虚拟机搭配，真实集

Hadoop框架体系包含了Hadoop1000+个知识点，其中有HDFS，Hadoop Concept，Hadoop Common，Hadoop Core，zookeeper，Hive，Hbase，Sqoop等的综合知识点。热门的mapreduce分析，yarn分析这里都有。

分布式资源调度框架YARN和应用协调服务ZooKeeper一.分布式资源调度框架YARN1.yarn概述2.基本架构核心组件3.核心组件-ResourceManager4.核心组件-NodeManager5.核心组件-ApplicationMaster6.核心组件-Container7.YARN的工作机制二.分布式应用协调服务zookeeper1.数据结构2.zookeeper客户端命令3.zookeeper角色4.zookeeper选举机制一.分布式资源调度框架YARN1.yarn概述YARN(Y

HDFS命令集合

分布式应用协调服务ZooKeeper一.ZooKeeper简介二.ZooKeeper数据结构三.ZooKeeper客户端命令四.ZooKeeper角色五.ZooKeeper选举机制六.ZooKeeper下载安装一.ZooKeeper简介Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目Zookeeper=文件系统+通知机制Zookeeper从设计模式上来看是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理数据，然后接受观察者的注册一旦数据的状态发生变化

那些年我们踩过的Hadoop HA的坑一.Hadoop集群OK二.Zookeeper集群OK(时区同步OK)三.修改Hadoop配置文件1.`vi core-site.xml`2.`vi hdfs-site.xml`3.`vi mapred-site.xml`4.`vi yarn-site.xml`四.发送文件五.启动集群六.测试集群是否部署成功一.Hadoop集群OK链接: link.二.Zookeeper集群OK(时区同步OK)链接: link.三.修改Hadoop配置文件首先转到配置文件下

文章目录一.ZooKeeper的下载安装二.Zookeeper的全局环境配置三.Zookeeper的文件配置四.配置集群的时间同步五.启动和关闭ZooKeeper并验证一.ZooKeeper的下载安装下载：链接:https://pan.baidu.com/s/12v1T3iVxBdkKP2PclVAHpQ 提取码: u5ed拖入opt目录解压安装:tar -zxvf zookeeper-3.4.6.tar.gz删除安装包：rm -rf zookeeper-3.4.6.tar.gz重命名：mv z

对于集群来说，所有机器都是一体的，所以启动hdfs时只需要在主机上格式化hadoop namenode -format，再start-all.sh即可。成功展示页面：配置图：修改hdfs-site.xml：

Hadoop问题总结1.下面那个程序负责HDFS数据存储（C）2.关于SecondaryNameNode哪项是正确的（C）3.下列哪个程序通常与NameNode 在一个节点启动(D)4.Client端上传文件的时候下列哪项是正确（B）5.以下描述错误的是（D）6.Hadoop分布式文件系统（HDFS）具有（ACD）的特性。7.Zookeeper的角色有哪些(ABD)8.下面那些选项正确描述了HBase的特性（ABCD）9.Hadoop是由何种语言编写的（C）10.以下哪个不是Hadoop运行的模式（B）.1

大数据及Hadoop生态系统一.大数据1.概念2.大数据特征：二.Hadoop1.分布式计算2.hadoop概念3.hadoop版本4.为什么使用hadoop5.Hadoop vs RDBMS三.Hadoop生态系统四.HDFS1.HDFS角色2.HDFS架构3.HDFS高可用4.HDFS副本机制5.HDFS读文件6.HDFS写文件一.大数据1.概念大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。2.大数据特征：4V特征Volume(大数据量)：90% 的数

使用hadoop jar 执行java的jar包1.编写增加目录测试完成2.打jar包3.hadoop执行java的jar包1.编写增加目录测试完成2.打jar包经过以上操作jar包就打成功了3.hadoop执行java的jar包1.拖到linux上hadoop文件目录下2.输入命令执行jar包hadoop jar jar包路径 main方法类的路径 参数列表...

Java与Hadoop的交互一.创建maven工程完成交互二.修改pom.xml三.交互程序1.java查看hadoop文件2.用变量实现对Hadoop文件的查看与本地向Hadoop传输文件3.实现创建目录和删除目录一.创建maven工程完成交互创建过程请参考我的另一篇博客：https://blog.youkuaiyun.com/Zhuuu_ZZ/article/details/108411108二.修改pom.xml1.修改版本2.导入依赖包三.交互程序在App的下一级目录创建一个java文

本地安装Hadoop1.解压hadoop压缩包2.把hadoop-Bin.rar中的内容解压到上面hadoop的bin目录下3.把上一步bin目录下的hadoop.dll放到C:\Windows\System32\目录下4.配置hadoop环境变量1.解压hadoop压缩包这里选择的是hadoop-2.6.0-cdh5.14.22.把hadoop-Bin.rar中的内容解压到上面hadoop的bin目录下3.把上一步bin目录下的hadoop.dll放到C:\Windows\System32\

HADOOP的安装及环境配置一.配置/opt/hadoop/etc/hadoop/ 目录下的文件1.vi hadoop-env.sh2.vi core-site.xml3.vi hdfs-site.xml4.vi mapred-site.xml5.vi yarn-site.xml二.Hadoop环境变量配置三.格式化HDFS四.启动hadoop五.访问Hadoop页面1.HDFS页面2.YARN管理页面3.历史服务页面一.配置/opt/hadoop/etc/hadoop/ 目录下的文件1.vi hado