hadoop
关注
分享
扫一扫
文章平均质量分 90
forever19870418
这个作者很懒，什么都没留下…
展开
-
hadoop2.6.0删除集群节点（三）
一、修改master节点hdfs-site.xml，增加dfs.hosts.exclude参数[hadoop@master hadoop]$ vi hdfs-site.xml dfs.hosts.exclude /opt/hadoop/etc/hadoop/excludes原创 2017-03-17 15:41:55 · 433 阅读 · 0 评论 -
hadoop2.6.0集群复制因子更改（四）
一、查看当前文件副本个数[hadoop@master hadoop]$ hdfs dfs -lsr /lsr: DEPRECATED: Please use 'ls -R' instead.drwxr-xr-x - hadoop supergroup 0 2017-03-16 23:39 /systemdrwxr-xr-x - hadoop sup原创 2017-03-17 16:25:42 · 2045 阅读 · 0 评论 -
使用QJM构建HDFS HA架构（五）
集群规划，在以前的文档中我已经搭建好一个hadoop2.6.0的非集群环境，我们就在这个基础之上搭建HAQJM的集群实现方式一操作系统的基本配置（可以参考hadoop2.6.0三个节点集群环境搭建（一））二Hadoop的安装（可以参考hadoop2.6.0三个节点集群环境搭建（一））三hdfs-site.xml配置（HA）(1) HD原创 2017-03-20 15:32:51 · 421 阅读 · 0 评论 -
基于ZK自动切换模式的实现（六）
配置自动切换模式（1）配置zookeeper集群（2）开启自动切换模式在hdfs-site.xml中配置dfs.ha.automatic-failover.enabled参数（3）配置zookeeper实例在core-site.xml中配置ha.zookeeper.quorum（4）初始化zookeeper（5）启动journalnode，namenode和datano原创 2017-03-21 15:47:49 · 729 阅读 · 0 评论 -
HA+Federation集群实现（七）
集群规划配置步骤1、core-site.xml1）整合Federation和HA的配置2、hdfs-site.xml1）添加新增节点配置3、启动服务1）zookeeper2）journalnode3）datanode4）namenode5）zkfc实施步骤在原有的ha基础上进行配置，即基于《基于ZK自动切换模式的实现（六）》的基础之上进行原创 2017-03-24 09:55:20 · 400 阅读 · 0 评论 -
Hadoop 1.2.1 伪分布升级到 2.6.0伪分布（八）
Hadoop 1.2.1伪分布式搭建一 创建目录mkdir -p /hadoop/hadoop/data/dfs/namemkdir -p /hadoop/hadoop/data/dfs/datamkdir -p /hadoop/tmpchown -R hadoop:root /hadoop二 解压hadoop 1.2.1到hadoop[hadoop@hadoo原创 2017-03-24 16:39:04 · 781 阅读 · 0 评论 -
MapReduce工作原理
最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce的工作原理下面我画了一张图,便于理解MapReduce得整个工作原理下面对上面出现的一些名词进行介绍ResourceManager：是YARN资源控制框架的中心模块转载 2017-03-15 09:54:18 · 421 阅读 · 0 评论 -
hadoop2.6.0三个节点集群环境搭建（一）
一、操作系统配置(1) 主机名更改(2) Ip地址配置(3) /etc/hosts文件配置(4) 无密码登入(5) Jdk安装(6) /etc/hosts文件配置防火墙关闭(7) Selinux关闭(8) vm.swappiness参数配置(9) 创建hadoop用户及目录(1)主机名更改：[root@elephant catchup原创 2017-03-16 16:17:18 · 1056 阅读 · 0 评论 -
hadoop2.6.0添加集群节点（二）
一、新节点操作系统配置（可以参考hadoop2.6.0三节点集群环境搭建（一））(1) 主机名更改(2) Ip地址配置(3) /etc/hosts文件配置(4) Jdk安装(5) /etc/hosts文件配置防火墙关闭(6) Selinux关闭(7) vm.swappiness参数配置(8) 创建hadoop用户及目录(9) 无密码登入二、 更新所有原创 2017-03-17 14:01:49 · 940 阅读 · 0 评论