ITgagaga的博客

出现问题：java.io.IOException: There appears to be a gap in the edit log. We expected txid ***, but got txid是元数据丢失，如果元数据有备份的话比较好做，直接将备份的元数据覆盖掉确实的元数据scp edits_0000000000000000041-0000000000000000043 root...

1.点击对话框中的“获取所有权”按钮,会弹出一个新窗口提示获取所有权失败;2.而且重新启动虚拟机还是会出现虚拟机正在使用的窗口;3.这时,打开虚拟机所在磁盘的位置配置文件: E:\virtual\Windows4.找到.lck文件夹,并将其删除,避免删错可以移动到备份文件夹中,或者直接重命名此文件夹5.再次打开VMware,发现可以正常打开虚拟机了。...

MapReduce的工作流程，shuffle过程，yarn资源调度过程，job提交流程文章目录MapReduce的工作流程，shuffle过程，yarn资源调度过程，job提交流程一：shuffle过程概述：二：MapReduce的工作流程2.Reduce Task三：yarn的资源调度过程1.resourceManagerYARN 集群的主节点 ResourceManager 的职责：2.no...

HDFS–shell的使用文章目录HDFS--shell的使用注意要点HDFS 常用命令1.创建文件夹：2.查看hdfs的目录结构3.删除文件夹|文件4.创建文件5.文件上传6.文件下载 将hdfs的文件 下载到 本地7.查看文件内容8.文件追加 了解9.权限修改10.修改副本个数11.修改副本加载顺序12.了解注意要点启动hdfs客户端：任意结点hdfs操作hdfs的文件系统 f...

Hadoop–namenode的架构文章目录Hadoop--namenode的架构一.namenode的工作目录二.VERSION（存放 hdfs 集群的版本信息）文件解析：三.namenode的元数据存储机制四.元数据的CheckPointCheckPoint 详细过程图解：CheckPoint 触发配置CheckPoint 附带作用一.namenode的工作目录namenode的工作目录...

Hadoop–HDFS的两大核心文章目录Hadoop--HDFS的两大核心一：写数据1）具体步骤2）在pipeline上的datanode如果出现了异常?3）注意二：读数据1）具体步骤一：写数据1）具体步骤1.客户端向namenode发送RPC请求；2.namenode检查权限以及文件是否存在（是否可以上传）；3.namenode确认可以上传文件的话会向客户端发送一个确认信息；4.客...

Hadoop–HDFS四大机制文章目录Hadoop--HDFS四大机制一：心跳机制二：机架策略三：安全模式问题引出：namenode 进入安全模式的原理：正常启动的时候进入安全模式的原理：四：负载均衡1) 保证动态的均衡(不均衡会影响集群性能)2) 如何手动实现负载均衡?(移动block块 --> 整个集群性能)1.设置峰值和谷值之间的差2.设置阈值(达到这个阈值才会负载均衡) 默认10...