幸运的天才小驴的专栏

一HDFS的工作机制 1 概述 二HDFS写数据流程 1 概述 2 详细步骤图 3 详细步骤解析 三HDFS读数据流程 1 概述 2 详细步骤图 3 详细步骤解析 四NameNode工作机制 1 问题场景 2 NameNode的职责 3 元数据管理 31 元数据存储机制 32 元数据手动查看 33 元数据checkpoint 34 元数据目录说明 五DataNode工作机制 1

MAC中安装虚拟机，其实和windows中几乎是一样的，就是虚拟机地址配置稍微有点曲折，但都是小问题。网上好多教程也有一点坑，我就将自己学习过程中的记录下来。 MAC中虚拟机 第一步MAC中安装VMWare Fusion 第二步下载Centos68mini_64 第三步安装Centos68 第四步配置网络和mac通信类似于windows的NAT模式 1 设置虚拟机MAC地址完了彻底退出 2...

一前期需要准备的环境 1 Mac中准备7台Centos 65 虚拟机 2 配置 Linux 主机名 - 7台机子都配置 3 配置IP - 7台机子都分别配置 4 配置主机名和IP的映射关系 5 配置 SSH 免密登录 二安装zookeeper集群 1 hadoop用户目录下创建一个 apps文件夹 2 解压 zookeeper-348targz 3 修改配置文件 zoocfg 4 z...

一HDFS 基本概念 1 HDFS 前言 2 HDFS的概念和特性 它是一个文件系统用于存储文件通过统一的命名空间目录树来定位文件 它是分布式的由很多服务器联合起来实现其功能集群中的服务器有各自的角色 重要特性如下 二HDFS基本操作 1 命令行客户端支持的命令参数 2 常用命令参数 一、HDFS 基本概念 1.1 HDFS 前言 设计思想 分而治之...

光说不练假把式。撸起袖子干起来！本文就是学习。。。。。。选用 hadoop-2.4.0 第一步必要环境准备 1 protobuf安装 第二步将32位编译成64位本地库 1 解压targz 2 进入已解压的目录 3 执行maven编译命令 4 执行maven打包命令 5 执行新的打包命令 第三步 检查打包编译之后的hadoop位数 第一步：必要环境准备 ...

第一步解压压缩包 第二步进入本地库 第三步使用file命令 hadoop在安装的时候，我们需要知道hadoop版本是32位还是64位。 hadoop官网本来提供的都是32位，因为我们大部分都是64位，所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。 本文选用hadoop-2.8.1.tar.gz版本来测试。 下载地址：https://mirrors...

准备 3台虚拟机 安装jdk17 64位 修改主机名和IP的映射关系 关闭防火墙 创建一个 app 文件夹 安装Hadoop 修改5个配置文件 第一个修改 hadoop-envsh 第二个修改 core-sitexml 第三个修改 hdfs-sitexml 第四个修改 mapred-sitexml 第五个修改yarn-sitexml 将hadoop添加到环境变量 远程复制 hado...

安装步骤 第一步上传zookeeper-348targz并解压 第二步配置zookeeper 1 在zookeeper01中创建一个 data的文件夹 2 在data中创建一个myid的文件 3 在myid文件的内容为1 4 zookeeper01zookeeper03依次类推 5 修改配置文件 51修改zookeeper01的配置文件 52修改zookeeper02的配置文件 53修改zo...