lovjh-优快云博客

原创 Docker常见问题原理

Docker常见问题原理Docker如何解决大型项目依赖关系复杂，不同组件依赖的兼容性问题？Docker允许开发中将应用、依赖、函数库、配置一起打包，形成可移植镜像Docker应用运行在容器中，使用沙箱机制，相互隔离Docker如何解决开发、测试、生产环境有差异的问题？Docker镜像中包含完整运行环境，包括系统函数库，仅依赖系统的Linux内核，因此可以在任意Linux操作系统上运行Docker是一个快速交付应用、运行应用的技术，具备下列优势：可以将程序及其依赖、运行环境一起打包为一个

2021-11-25 20:34:50 601

原创 HDFS数据校验流程

1、数据第一次写入成功后，会进行数据校验，获得校验和。2、数据读取前，对数据进行校验，获得校验和，计算得到的校验和与第一次上传后的校验和进行对比。3、两个校验和相同表示数据相同，可以提读取数据4、两个校验和不相同表示数据不相同，节点去其他节点读取5、数据节点周期进行校验和计算，防止数据丢失。...

2020-10-12 15:42:53 477

原创 HDFS读取数据流程

1、客户端通过调用FileSystem对象的open()来读取希望打开的文件。2、 Client向NameNode发起RPC请求，来确定请求文件block所在的位置；3、 NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode都会返回含有该 block 副本的 DataNode 地址；这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近的排靠前；心跳机制中超时.

2020-10-12 15:42:01 506

原创 HDFS写入数据流程

详细步骤解析：1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；2、 client请求第一个block该传输到哪些DataNode服务器上；3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C；4、 client请求3台DataNode中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然.

2020-10-12 15:40:21 123

原创 HDFS常用实操命令

HDFS常用命令实操（1）-help：输出这个命令参数 bin/hdfs dfs -help rm（2）-ls: 显示目录信息 hdfs dfs -ls /（3）-mkdir：在hdfs上创建目录 hdfs dfs -mkdir -p /aaa/bbb/cc/dd（4）-moveFromLocal从本地剪切粘贴到hdfs hdfs dfs -moveFromLocal /home/Hadoop/a.txt /aaa/bbb/cc/dd（5）-moveToLocal：从hd

2020-10-12 15:36:22 213

原创 HDFS的特性（优缺点）

HDFS的特性（优缺点）HDFS缺点1、海量数据存储： HDFS可横向扩展，其存储的文件可以支持PB级别或更高级别的数据存储。2、高容错性：数据保存多个副本，副本丢失后自动恢复。可构建在廉价的机器上，实现线性扩展。当集群增加新节点之后，namenode也可以感知，进行负载均衡，将数据分发和备份数据均衡到新的节点上。3、商用硬件：Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件（廉价商业硬件）的集群上的。4、大文件存储：HDFS采用数据块的方式存储数据，将数据物理切分成多个小的

2020-10-12 15:16:34 1025

lovjh的博客