
hadoop
快乐崇拜234
学习笔记
展开
-
hadoop 动态扩容 缩容
初始化集群初始化集群:hadoop三个DataNode,HBASE集群只有一个regionserver。后面我们不停服的情况下,动态添加一个机器node4,在node4上启动DataNode和Hregionserver服务。hadoop动态扩容准备工作准备工作与新搭建集群类似,这里参考笔者另一篇博客Hadoop 2.8.5 完全分布式HA高可用安装(一)–环境准备安装java配...原创 2019-11-04 19:09:44 · 1262 阅读 · 0 评论 -
Hadoop 2.8.5 完全分布式HA高可用安装(一)--环境准备
环境说明java8Hadoop 2.8.5zookeeper 3.4.10VMware® Workstation 14 Procentos 7 1511安装java8安装步骤:下载jdk-8u131-linux-x64.tar.gz,上传到Linux服务器。tar -zxf jdk-8u131-linux-x64.tar.gz -C /usr/java配置环境变量vi...原创 2019-07-11 15:33:37 · 886 阅读 · 0 评论 -
Hadoop 2.8.5 完全分布式HA高可用安装(二)--环境搭建
文章目录概述集群规划安装ZK安装验证安装配置Hadoop集群配置Hadoop环境变量hadoo-env.shcore-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlopt文件下创建对应文件夹将Hadoop拷贝到其他几台机器启动Hadoop启动ZK启动journalnode格式化namenode格式化zk启动主namenode备用NN 同步主NN信...原创 2019-07-11 17:55:26 · 2107 阅读 · 1 评论 -
hadoop 2.7 使用 distcp 在不同集群间数据迁移拷贝
文章目录本文讲述在多个hadoop集群中进行数据迁移操作。工作中可能会遇到同样的需求,还是很实用的。hadoop官方提供了distcp 工具吗,具体使用说明参加官方文档:https://hadoop.apache.org/docs/r2.7.7/hadoop-distcp/DistCp.html#Command_Line_Options假设在hadoop集群1 的目录/hbase/data...原创 2019-07-31 14:16:05 · 1780 阅读 · 0 评论