weixin_40420525的博客

cdh地址http://archive-primary.cloudera.com/cdh5/cdh/5/添加sudo权限的无密码访问的hadoop用户# useradd hadoop# vi /etc/sudoers hadoop ALL=(root) NOPASSWD:ALL# su - hadoop下载 解压缩[hadoop@hadoop000 so...

前置要求hadoop2.6.0-cdh5.7.0 源码包 下载jdk 1.7+ 下载maven 3.0+ 下载protobuf 2.5+ 下载安装依赖库$>yum install -y svn ncurses-devel gcc*$>yum install -y openssl openssl-devel svn ncurses-devel zlib-dev...

1.前言在时下大数据场景中,虽然现在的机器的性能好,节点多,但是不代表,我们的数据就不需要做任何的压缩就开始处理,所以我们还是会对数据做压缩处理的,本文会详细的介绍大数据中常见的压缩格式,以及常见压缩的对比,和使用场景;2.常用压缩格式介绍及对比2.1 常见压缩介绍压缩格式文件后缀gzip.gzbzip2.bz2LZO.lzoSnappy.sn...

1. ZKFCHDFS中ZKFC作为单独的进程Yarn中ZKFC是RM中的线程2.从节点HDFS中的DataNode 会向两个NameNode同时发送心跳。Yarn中NodeManager只会向activeRM上报资源

Yarn HA 和HDFS HA 一样为了解决单点故障问题架构各个组件的作用ZKFC:zkfc,只作为RM进程的一个线程而非独立的守护进程来独立存在RMStateStore::.RM把job信息存在在ZK的/rmstore下，activeRM会向这个目录写app信息当active RM挂了，另外一个standby RM通过zkfc选举成功为active，会从/rmstore读取相...

HA产生的背景为了防止出现,单节点的NameNode挂了,不能对外提供服务,于是产生了,两个NameNode的节点,其中一台是standby,还有一台是active ,保证了两个NameNode,无论哪个出现问题,还是可以实时的对外提供服务HDFS HA 架构HDFS的HA的出现是为了解决单点问题,两个NameNode的通过JounalNode共享数据,通过ZKFC来监控NameNode的...

Jps的位置[hadoop@hadoop000 hadoop-2.6.0-cdh5.7.0]$ which jps/usr/java/jdk1.7.0_80/bin/jps[hadoop@hadoop000 hadoop-2.6.0-cdh5.7.0]$ 从位置上来看,可以知道 jps来自java中

在部署完成Hadoop中的Hdfs和Yarn之后,发现启动Hdfs和Yarn的时候,NN和DN都是以机器名启动的而SNN是以0.0.0.0启动的,为了让HDFS三个进程都以机器名启动,修改配置文件.修改配置文件在官网中 http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-d...

修改etc/hadoop/mapred-site.xml复制 mapred-site.xml.templatecp mapred-site.xml.template mapred-site.xml修改mapred-site.xml<configuration> <property> <name&

1.前置要求编译安装好hadoopjava & maven 安装配置好安装前置库 yum -y install lzo-devel zlib-devel gcc autoconf automake libtool2.安装 lzo2.1 下载 #下载 wget www.oberhumer.com/opensource/lzo/download/lz...