hengzq的博客

1、安装前准备       ①、集群规划： 主机名称用户主机IP安装软件运行进程 centos71hzq192.168.1.201jdk、hadoopNameNode、DFSZKFailoverController(zkfc) centos72

1、安装前准备       ①、准备三台主机配置如下：                              主机IP                           主机名                    用户                    192.168.31.128                    centos71

1、名词解释：       NameNode：               ①、整个文件系统的管理节点。维护着整个文件系统的文件目录，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。               ②、文件包括:                              fsimage:元数据镜像文件。存储某一段NameNode内存元数据信息。

1、安装环境：硬件：VMware虚拟机操作系统：Centos 7 64位IP:192.168.1.134主机名：bogon安装用户：hzqJava环境：jdk-8u131-linux-x64.tar.gz（具体安装步骤见：《Linux安装JDK步骤》）2、配置免密码登录见：《Linux之ssh免密登录》3、安装hadoop-2.8.0       ①、下载hadoop-

Hadoop之常用shell命令整理：查看根目录：hadoop fs -ls hdfs://hzq:9000/        或hadoop fs -ls /查看/demo下的目录结构：hadoop fs -ls /demo将“/home/hzq/jdk1.8.tar.gz”上传到hdfs“/java”目录下： hadoop fs -copyFr

将本地文件上传到hdfs服务器: /** * 上传文件到hdfs上 */ @Test public void upload() throws IOException { Configuration conf = new Configuration(); conf.set("fs.defaultFS","hdfs://hz

一、NameNode启动时如何维护元数据：概念介绍：       Edits文件：NameNode在本地操作系统的文件都会保存在Edits日志文件中。也就是说当文件系统中的任何元数据产生操作时，都会记录在Edits日志文件中。eg：在HDFS上创建一个文件，NameNode就会在Edits中插入一条记录。同样如果修改或者删除等操作，也会在Edits日志文件中新增一条数据。