zhzsdiligence的博客

1 HDFS 高阶优化方案 1.1 短路本地读取 1.1.1 概述 1.1.2 解决方案 1.1.3 配置使用 1.1.4 检查是否配置成功

创建编译后的目录 mkdir -p /export/server 安装依赖环境 安装gcc apt update apt install build-essential

1. 场景：如何模拟实现分布式存储？ 1.1 如何解决海量数据存的下问题？ 传统方式：内存不够加内存，磁盘不够加磁 盘—单机纵向扩展。但是单机能够扩展的内存磁盘是有上限的，不能无限制下去。 分布式存储方式：横向扩展。所谓横向指的是采用多台机器存储，一台 不够就多台一起存储，不够就加机器。 理论上，可以横向无限制下去。因此海量数据如何存储的下的问题解决方式就是采 用多台机器存储—即分布式存储。 1.2 如何解决数据查询便捷问题 此可以借助于元数据记录来解决这 个问题。把文件和其存储的机器的位置信息

1. 架构整体概述 1.1 概述 1.2 架构图 1.3 角色 1.3.1 NameNode 1.3.2 DataNode 1.3.3 SecondaryNameNode 1.4 重要特征 1.4.1 主从架构 1.4.2 分块存储 1.4.3 副本机制 1.4.4 NameSpace 1.4.5 元数据管理 1.4.6 数据块存储 ...