super_wj0820的博客

文章目录7. HDFS HA 高可用7.1 HA 概述7.2 HDFS-HA 工作机制7.3 HDFS-HA 手动故障转移7.3.1 HDFS-HA 工作要点7.3.2 环境准备7.3.3 集群规划7.3.4 配置 HDFS-HA 集群（以三台为例）7.3.5 启动 HDFS-HA 集群7.3.6 HDFS-HA 集群手动故障转移7.4 HDFS-HA 自动故障转移7.4.1 工作要点7.4.2 ...

文章目录6. HDFS 其他功能6.1 集群间数据拷贝6.2 Hadoop 存档6.2.1 理论概述6.2.2 案例实操6.3 快照管理6.3.1 基本语法6.3.2 案例实操6.4 回收站6.4.1 默认回收站6.4.2 启用回收站6.4.3 查看回收站6.4.4 修改访问垃圾回收站用户名称6.4.5 进入回收站6.4.6 恢复回收站数据6.4.7清空回收站6. HDFS 其他功能6.1 集...

文章目录5. DataNode 工作机制5.1 DataNode工作机制5.2 数据完整性5.3 掉线时限参数设置5.4 DataNode 的目录结构5.4.1 查看 DataNode 的版本号5.4.2 DataNode 版本号具体解释5.4.3 DataNode 数据块版本号5.4.4 DataNode 数据块版本号的具体解释5.5 服役新数据节点5.5.1 需求5.5.2 环境准备5.5.3...

文章目录4. NameNode 工作机制4.1 NameNode、Fsimage 、Edits 和 SecondaryNameNode 概述4.2 NameNode & Secondary NameNode 工作机制4.2.1 第一阶段：Namenode 启动4.2.2 第二阶段：Secondary NameNode 工作4.2.3 web 端访问 SecondaryNameNode4.2...

文章目录3. HDFS 数据流3.1 HDFS 写数据流程3.1.1 剖析文件写入3.1.2 网络拓扑概念3.1.3 机架感知（副本节点选择）3.1.3.1 低版 本Hadoop 副本节点选择3.1.3.2 Hadoop 2.9.2 副本节点选择3.2 HDFS 读数据流程3. HDFS 数据流3.1 HDFS 写数据流程3.1.1 剖析文件写入Client 向 NameNode 通信...

文章目录2. HFDS 命令行操作2.1 基本语法2.2 参数大全2.3 常用命令实操2.3.1 -help：输出这个命令参数2.3.2 -ls: 显示目录信息2.3.3 -mkdir: 在hdfs上创建目录2.3.4 -moveFromLocal: 从本地剪切粘贴到hdfs2.3.5 -moveToLocal: 从hdfs剪切粘贴到本地2.3.6 --appendToFile: 追加一个文件到已...

文章目录1. HDFS 概念1.1 概念1.2 组成1.3 HDFS 文件块大小2. HFDS命令行操作2.1 基本语法2.2 参数大全2.3 常用命令实操2.3.1 -help：输出这个命令参数2.3.2 -ls: 显示目录信息2.3.3 -mkdir: 在hdfs上创建目录2.3.4 -moveFromLocal: 从本地剪切粘贴到hdfs2.3.5 -moveToLocal: 从hdfs剪切...

1. HDFS 概念1.1 概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改，适合用来做数据分析，并不适合用来做网盘应用1.2 组成HDFS 集群包括，NameNode 和 DataNode 以及 Secondary Nameno...

Windows 端 Hdfs 客户端实现文件上传、下载等操作文章目录1. 先在 Centos 上开启 Hdfs2. 在 Windows 上配置 Hadoop2.1 下载 Hadoop 包2.2 解压配置2.3 可能的错误3. 配置 winutil 和 hadoop.ddl3.1 下载 winutil 和 hadoop.ddl3.2 拷问至 .\hadoop-2.9.2\etc\hadoop\bi...

在 Hadoop 单机版基础上，搭建一个简单的集群版文章目录0. 规划1. 克隆虚拟机2. 启动虚拟机，改动静态ip3. 在hosts文件修改ip映射4. 修改 hostname5. 修改hadoop配置文件5.1 core-site.xml 修改5.2 yarn-site.xml 修改5.3 更改 slaves 文件6. 集群版ssh免密钥登录7. 重新格式化 namenode8. 启动 Ha...

文章目录1. 安装hadoop并修改配置文件1.1 配置proflie文件1.2 第一个：hadoop-env.sh1.3 第二个 core-site.xml1.4 第三个 hdfs-site.xml1.5 第四个 mapred-site.xml1.6 第五个 yarn-site.xml2. 格式化 namenode3. 启动 hadoop4. 验证是否启动成功1. 安装hadoop并修改配置文...

目录Master-Slave架构异步日志持久化机制检查点机制：定时持久化全量数据引入检查点节点总结 & 思考（1）Master-Slave架构这个中间件系统的本质是希望能够用分布式的方式来处理一些数据，但是具体的作用涉及到核心技术，所以这里不能直接说明。但是他的核心思想，就是把数据分发到很多台机器上来处理，然后需要有一台机器来控制N多台机器的分布式处理，大概如下图所示。...

本文内容：为什么引入HadoopHDFS的架构原理为什么引入HadoopHadoop是目前大数据领域最主流的一套技术体系，包含了多种技术。包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。有些朋友可能听说过Hadoop，但是却不太清楚他到底是个什么东西，这篇文章就用大白话给各位阐述一下。假如你现在公司里的数据都是放在MyS...