Mr_Yang888的博客

退役旧数据节点目标：掌握HDFS在集群中删除掉无效节点的步骤第一步：创建dfs.hosts.exclude配置文件(也就是集群生效的黑名单)在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件，并添加需要退役的主机名称node01执行以下命令cd /export/serv...

服役新数据节点===========================================================================准备工作（九步）目标：掌握HDFS新添加节点到集群的步骤准备新节点第一步：复制一台新的虚拟机出来将我们纯净的虚拟机复制一台出来，作为我们新的节点第二步：修改mac地址以及IP地址修改mac地址命令vim /etc/ud...

Fsimage，Edits详解目标：掌握Fsimage和Edits的作用。NameNode元数据详解（1）第一次启动namenode格式化后，创建fsimage和的edits文件。如果不是第一次启动，直接加载edits和fsimage文件到内存。（2）客户端对原数据进行增删改的请求（3）namenode记录操作日志，更新滚动日志。（4）namenode在内存中对数据进行增删改查fs...

hdfs的高级使用命令目标：掌握HDFS对目录如何进行限制HDFS文件限额配置hdfs文件的限额配置允许我们以文件大小或者文件个数来限制某个目录下上传的文件数量或者文件内容总量，以便达到我们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量数量限额hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹hdfs dfsadmin -setQ...

HDFS的特性目标：掌握HDFS具备的特性1、海量数据存储： HDFS可横向扩展，其存储的文件可以支持PB级别或更高级别的数据存储。2、高容错性：数据保存多个副本，副本丢失后自动恢复。可构建在廉价的机器上，实现线性扩展。当集群增加新节点之后，namenode也可以感知，进行负载均衡，将数据分发和备份数据均衡到新的节点上。　　3、商用硬件：Hadoop并不需要运行在昂贵且高可靠的硬件上。它...

目标：掌握HDFS操作数据的命令1）基本语法bin/hdfs dfs 具体命令2）参数大全[root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfsUsage: Hadoop fs [generic options][-appendToFile … ][-cat [-ignoreCrc] …][-checksum …][-chgrp...

目标：掌握HDFS写入数据的详细过程文件写入过程详细步骤解析：1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；2、 client请求第一个block该传输到哪些DataNode服务器上；3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataN...

集群启动在hadoop安装目录的sbin下执行 ./start-all.sh正常启动集群正常的关闭集群哪个节点的服务出现异常，就到哪个节点的log下面找对应的日志所有的启动信息（有异常或无异常），都包含在日志中集群不要轻易的去格式化（格式化后集群的所有数据都被删除且无法恢复）验证集群是否可用jps 用于验证集群服务的启动情况1、namenode所在节点的IP+50070端口 ...

集群的搭建第一步：配置jdk(三台）

HDFS主要内容HDFS适用场景HDFS内部组成HDFS原理、机制HDFS特性HDFS基本使用HDFS-Web界面介绍HDFS高级使用HDFS APIHadoop组成Hadoop HDFS：一个高可靠、高吞吐量的分布式文件系统，对海量数据的存储Hadoop MapReduce：一个分布式的资源调度和离线并行计算框架Hadoop yarn:基于HDFS，用于作业调度和集...

前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近在学习Hadoop-HA高可用集群的时候,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。本篇文章是姗姗来迟的一篇文章，小编很早就学了Hadoop-HA的搭建。但一直没有写进博客。今天，他来了。码字不易，先赞再看，养.