浮生、佐以酒

1)添加sudo权限的无密码访问的hadoop用户 [root@hadoop002 ~]# useradd hadoop [root@hadoop002 ~]# cat /etc/sudoers |grep hadoop hadoop ALL=(ALL) NOPASSWD: ALL [root@hadoop002 ~]# [root@hadoop002 ~]# su - hadoo...

端口 Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper: 组件 节点 默认端口 配置 用途说明 HDF...

目录

目录 集群规划 Hadoop HA部署： 1）软件环境 2）系统环境准备 3）配置SSH通信 4）配置环境变量 5）配置zookeeper 6）配置Hadoop 7）启动集群 8）启动关闭顺序 9）Hadoop HA部署避坑指南 集群规划 主机 安装软件 进程 hadoop001 Hadoop、Zookeeper NameNode DFSZKFailoverController...

目录 准备测试数据 压缩数据&建立索引文件 以wordcount的input运行MapReduce LZO索引说明 准备测试数据 因为默认的block是128M大，上传了一份小数据只有19M需要扩大，通过shell脚本解决。 1.编写shell脚本 [hadoop@192 data]$ touch create_data.sh [hadoop@192 data]$ vi create...

目录 环境 安装&编译 配置Hadoop支持LZO 环境 Centos 6.5 64位 JDK1.8 Hadoop-2.6.0-cdh5.7.0 LZO2.1.0包 hadoop-lzo Maven3.6.0 安装&编译 1.安装依赖并下载lzo包 [hadoop@192 sbin]$ sudo yum -y install lzo-dev

HDFS读流程 客户端通过分布式FileSystem.open(path)方法，与NameNode之间进行RPC通信，其中open方法会将一个path传递过去，这个path就是我们要查看的文件或文件夹的路径.NameNode会对这个path进行校验，判断是否存在这个路径，以及是否拥有相应的权限去读取。 校验完后返回一个FSDataInputStream对象，当要读取client需再次向N...

目录 HDFS架构 Namenode&DataNode&SecondaryNameNode 副本存放策略 HDFS为主/从架构，主要由管理文件系统的NameNode和存储数据的DataNode组成。 NameNode介绍及作用 : NameNode维护以下内容 a. 管理文件名称 b. 管理文件目录结构 c. 管理文件属性（创建时间、权限、副本数等） d. 文件对应哪...

环境准备 系统:Centos6.5 64位 JDK1.7 Maven：3.6.0 Hadoop源码：Hadoop2.6.0-cdh5.7.0.src.tar.gz Protocol Buffer 2.5.0 Jar依赖包 安装Protocol Buffer 2.5.0 root权限安装依赖包 $ yum install -y gcc gcc-c++ make cmake 指定安装目录...

在执行hadoop命令的时候出现如下错误，不能加载Hadoop库 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 检查发现本地并没有库 [hadoop001@192 ~]$ hado...

在Windows下IDEA操作Hadoop报如上错误。 Hadoop2.6.0-CDH5.14.0安装包: 链接: https://pan.baidu.com/s/1sgz4lnaqp3W8-mnS_MmRZw 提取码: wm7f hadoop.dll文件： 链接: https://pan.baidu.com/s/1GvJgZq0dLQQShWNUCeV9hg 提取码: wgh9 解决方法： S...