qq_45798620的博客

hdfs 新增节点（服务器）与 删除节点（服务器）需求基础准备新节点需求基础随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。准备新节点这里的新节点为node04第一步：复制虚拟机 或者 新建一个虚拟机Linux复制虚拟机及网卡的配置第二步：关闭防火墙，关闭selinux关闭防火墙：service iptables stop关闭selinux：（需要重启才能生效，我们稍后重启）vim /etc/seli

NameNode故障恢复原理流程namenode保存fsimage的配置路径namenode保存edits文件的配置路径secondaryNamenode保存fsimage文件的配置路径secondaryNamenode保存edits文件的配置路径故障恢复代码解决方案原理使用为什么使用故障恢复的原理流程secondaryNamenode对namenode当中的fsimage和edits进行合并时，每次都会先将namenode的fsimage与edits文件拷贝一份过来，所以fsimage与edit

SecondaryNameNode辅助管理FSImage与Edits原理原理由于editlog记录了集群运行期间所有对HDFS的相关操作，所以这个文件会很大。集群关闭后再次启动时会将Fsimage，editlog加载到内存中，进行合并，恢复到集群的。由于editlog文件很大所有，集群再次启动时会花费较长时间。为了加快集群的启动时间，所以使用secondarynameNode辅助NameNode合并Fsimage，editlog。原理1、 secnonaryNN通知NameNode切换edi

hdfs-高级命令文件夹内文件数量限制文件夹内存储空间大小限制进入退出安全模式文件夹内文件数量限制设置数量：hdfs dfsadmin -setQuota 2 /aa取消设置：hdfs dfsadmin -clrQuota /aa文件夹内存储空间大小限制设置大小：hdfs dfsadmin -setSpaceQuota 100M /aa取消设置：hdfs dfsadmin -clrSpaceQuota /aa进入退出安全模式查看状态：hd

HDFS全称Hadoop Distribute File System ： Hadoop分布式文件系统主要作用：即存储海量数据为什么能存储海量数据？？因为其空间大，空间大的原因为服务器多、磁盘多。且支持扩展HDFS组成部分 管理者-Master NameNode 集群中有1-2个，用于管理集群中的工作者 工作者-Slave DataNode 集群中有 辅助管理者工作 辅助管理 SecondaryNameNode 集群中有0-1 只负责辅助NameNo

dfgkjsdfgksdfjglsdfjg(fgsdfgsdfg)gsdfgsdgsdfgsghsfgsdfgsdgfghdfsgdfsdgdfgsdfgdfgsdfg(fgsdfgsdfg)yujryfujfjfghjghjfghjghjfghjfghjfghjfghjfghjfghjfghjfgjfghjfggsdfgsdgsdfgsghjgfhjfghjghjfghjfghjfghjfghjfgjfghjfghjfgj

机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。（开源hadoop,使用RackAware.sh）#!/usr/bin/python #-*-coding:UTF-8 -*- import sys rack = { "12.12.3.1":"SW6300-1", "12.12.3.2":"SW6300-1", "12.12.3.3":"SW6300-1", .

javaAPI操作创建maven工程并导入jar包获取FileSystem的几种方式实现数据增、删、改、查、上传、下载涉及的Class使用API对HDFS上的目录和数据进行增、删、改、查操作创建maven工程并导入jar包由于cdh版本的所有的软件涉及版权的问题，所以并没有将所有的jar包托管到maven仓库当中去，而是托管在了CDH自己的服务器上面，所以我们默认去maven的仓库下载不到，需要自己手动的添加repository去CDH仓库进行下载，以下两个地址是官方文档说明，请仔细查阅cd

首先停止hdfs集群，在主节点机器上执行以下命令cd /export/servers/hadoop-2.6.0-cdh5.14.0sbin/stop-dfs.sh修改主节点机器上的hdfs-site.xml当中的配置文件cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoopvim hdfs-site.xml改：<property> <name>dfs.permissions</na.