Hadoop DataNode如何将TB级大文件的上传性能优化上百倍

已于 2023-12-19 18:08:25 修改
阅读量936 收藏 1
点赞数
分类专栏： 大数据 # 架构设计 文章标签： hadoop 性能优化 java
于 2022-01-07 09:58:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lzhcoder/article/details/122358155
版权
本文详细介绍了Hadoop如何通过Chunk缓冲、Packet数据包和内存队列异步发送等机制，优化TB级大文件上传的性能。通过对原始上传方案的分析，揭示了HDFS客户端在大文件上传时的性能提升策略，实现了上传速度的显著提升。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、上传原理

二、原始的文件上传方案

三、HDFS对大文件上传的性能优化

1.    Chunk缓冲机制

2.    Packet数据包机制

3.    内存队列异步发送机制

四、总结

五、参考文章

一、上传原理

首先，我们还是通过一张图来回顾一下文件上传的大概的原理。

图片

由上图所示，文件上传的原理，其实说出来也简单。

比如有个TB级的大文件，太大了，HDFS客户端会给拆成很多block，一个block就是128MB。

这个HDFS客户端你可以理解为是云盘系统、日志采集系统之类的东西。

比如有人上传一个1TB的大文件到网盘，或者是上传个1TB的大日志文件。

然后，HDFS客户端把一个一个的block上传到第一个DataNode

第一个DataNode会把这个block复制一份，做一个副本发送给第二个DataNode。

第二个DataNode发送一个block副本到第三个DataNode。

所以你会发现，一个block有3个副本，分布在三台机器上。任何一台机器宕机，数据是不会丢失的。

最后，一个TB级大文件

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hadoop 大量小文件问题及解决方案
SmartSi
12-25 2万+
1. HDFS上的小文件问题小文件是指文件大小明显小于HDFS上块（block）大小（默认64MB）的文件。如果存储小文件，必定会有大量这样的小文件，否则你也不会使用Hadoop（If you’re storing small files, then you probably have lots of them (otherwise you wouldn’t turn to Hadoop)），这样
HDFS 使用文件模式，实现多文件上传至HDFS
lrf2454224026的博客
08-25 1254
/**  * 我们利用通配符和PathFilter 对象，将本地多种格式的文件上传至 HDFS文件系统，并过滤掉 txt文本格式以外的文件。  */ import java.io.IOException; importjava.net.URI; importjava.net.URISyntaxException; import org.apache.hadoop.conf.Config...
Hadoop如何将TB级大文件的上传性能优化上百倍【三】
arthur.dy.lee的专栏
09-29 508
目录 一、写在前面 二、原始的文件上传方案 三、大规模分布式系统对大文件上传的性能优化 （1）Chunk缓冲机制 （2）Packet数据包机制 （3）内存队列异步发送机制 四、总结 一、写在前面 上一篇文章，我们聊了一下Hadoop中的NameNode里的edits log写机制。 主要分析了edits log写入磁盘和网络的时候，是如何通过分段加锁以及双缓冲的机制，大幅度提升了多线程并发写edits log的吞吐量，从而支持高并发的访问。 如果没看那篇文章的同学，可以回看一下：大规模
大规格文件的上传优化
凹凸实验室
05-13 1135
作者：凹凸曼 - TJ 在开发过程中，收到这样一个问题反馈，在网站上传 100 MB 以上的文件经常失败，重试也要等老半天，这就难为需要上传大规格文件的用户了。那么应该怎么做才能快速上传，就算失败了再次发送也能从上次中断的地方继续上传呢？下文为你揭晓答案~ 温馨提示：配合 Demo 源码一起阅读效果更佳 整体思路 第一步是结合项目背景，调研比较优化的解决方案。 文件上传失败是老生常谈的问题，常用方案是将一个大文件切片成多个小文件，并行请求接口进行上传，所有请求得到响应后，在服务器端合并所有的分片文件
文件上传优化方案
莉兹Liz的博客
10-27 659
文件上传方法 1、form、input 2、formData（推荐） 3、fileReader 文件上传遇到问题 1、大文件时，上传时间久，容易卡顿 2、网络原因导致失败，失败后需要从头开始 解决方案： 1、切片上传 2、断点续传 3、秒传 切片上传： Blob对象的slice方法 chunkSize = 1024*5;（每片大小 文件切片上传完成，文件合并 1、前端发送完切片，发送切片请求，告诉后端可以合并 2、后端读取切片数，自动检测文件是否上传完成（推荐） 3、创建一个和原文件大小相同的文件…… 断点
由浅入深，谈谈文件上传的优化思路
前端开发博客
09-17 7888
前言在日常开发中我们少不了接触文件上传的功能，在某些业务场景中甚至需要我们上传较大的文件，如果文件体积比较大，或者网络条件不好时，上传的时间会比较长，用户不能刷新页面，也无法中断上传，只能...
云计算 上传大文件至hadoop
weixin_46424243的博客
06-21 1285
云计算上传大文件（20G）至hadoop
Hadoop如何将TB级大文件的上传性能优化上百倍？
zhuguanghalo的博客
05-31 1287
这篇文章，我们来看看，Hadoop的HDFS分布式文件系统的文件上传的性能优化。 首先，我们还是通过一张图来回顾一下文件上传的大概的原理。 由上图所示，文件上传的原理，其实说出来也简单。 比如有个TB级的大文件，太大了，HDFS客户端会给拆成很多block，一个block就是128MB。 这个HDFS客户端你可以理解为是云盘系统、日志采集系统之类的东西。 比如有人上传一个1TB的大文件到网盘，或...
【性能优化的秘密】Hadoop如何将TB级大文件的上传性能优化上百倍？
Java架构师笔记
11-29 1361
一、写在前面 上一篇文章，我们聊了一下Hadoop中的NameNode里的edits log写机制。 主要分析了edits log写入磁盘和网络的时候，是如何通过分段加锁以及双缓冲的机制，大幅度提升了多线程并发写edits log的吞吐量，从而支持高并发的访问。 如果没看那篇文章的朋友，可以回看一下：《大规模集群下Hadoop NameNode如何承载高并发访问》。 这篇文章，我们来看看，Hado...
性能提升100倍！基于Hadoop的TB级大文件上传优化实践！
石杉的架构笔记
08-12 411
上一篇文章，我们聊了一下Hadoop中的NameNode里的edits log写机制。 主要分析了edits log写入磁盘和网络的时候，是如何通过分段加锁以及双缓冲的机制，大幅度提升了多线程并发写edits log的吞吐量，从而支持高并发的访问。 这篇文章，我们来看看，Hadoop的HDFS分布式文件系统的文件上传的性能优化。...
cpu占用100_CPU占用100%，电脑卡顿原来可以这样解决！多任务操作也运行如飞
weixin_39603573的博客
11-14 1457
相信不少朋友都遇到过笔记本卡顿的情况，有时竟连打开文档都很费劲！可查看一番，自己也就打开了几个网页，在解压文件夹的时候打开文档就卡住了，在任务管理器中，嚯！一看吓一跳，CPU占用率高达100%！此时难免会怀疑电脑是否中了病毒。非也！CPU之所以这么高，这是因为在win10系统升级的背后，同时升级的其实还有对硬件的要求。要知道，无论是打开文件还是在进行多任务处理，这都是需要CPU支持的工作。或许有人...
hdfs文件传输调优
05-20
hdfs文件传输调优，hdfs文件传输调优 hdfs文件传输调优
Hadoop搭建伪分布式 & 上传和下载文件
Java小技巧
07-07 1664
环境： VMware-workstation-full-10.0.0-1295980.exe CentOS-6.7-x86_64-bin-DVD1.iso     开始：     个人习惯自己创建了两个目录 一个来放要安装的软件 一个来放软件安装的地址 解压安装jdk 配置jdk 配置完成之后重启才可以生效 我们执行一个命
记一次Hadoop集群数据上传缓慢案例分析
热门推荐
卢说
10-11 2万+
本文为博主原创文章，转载需获取博主授权。 项目场景 手上管理的其中一个Hadoop集群，承接着大量的数据流量，一直以来运行平稳，最近突然发现集群有时会出现MR作业运行缓慢，put文件至HDFS偶发速度慢的问题，像大数据集群这种问题，有点疑难杂症的味道，本次也是经历了10多个小时的定位才真正把问题解决。 问题现象 使用客户端节点执行hdfs dfs -put文件上传至HDFS偶发慢，集群内部节点put文件也出现偶发速度慢；查看Hadoop集群相关监控指标未见异常； 业务反馈入库作业有积压，数据积压于上传.
springBoot实现文件上传+预览 与 FastDFS分布式文件系统
haobo__的博客
05-05 1000
文章目录1、springBoot的文件上传（表单提交）2、FastDFS（分布式文件系统）1、什么是分布式文件系统2、什么是FastDFS3、FastDFS的架构4.上传和下载流程安装 1、springBoot的文件上传（表单提交） 前端页面： <form action="" method="post" class="form form-horizontal"
分布式文件存储系统Minio使用总结
北执南念的博客
05-03 5154
分布式文件存储系统Minio总结
一个程序员的重启-解决大文件上传采用fastDFS分布式文件存储，实现文件分片上传、断点续传，超详细的编码
weixin_46330385的博客
08-15 1921
大文件上传 分片上传 断点续传 java 最近实习，碰到一个大文件上传的难题，然后公司用的也是使用fastDFS进行存储文件，所以博主这两天一直在学习这方面的知识现在跟大家分享一波。liunx的centos7系统（用于安装FastDFS，因为FastDFS没有window的安装程序）redis。2.后端通过相关获取相关值进行业务处理（例如：判断断点，是否重复传），并把file存进fdfs的文件存储位置。1.前端首先要将文件分片，并获取关键数据，例如。......
PolarFS ：一个用于共享存储云数据库的超低延迟和容错分布式文件系统
Tyler_Zx的博客
10-06 4865
PolarFS 是一个具有超低延迟和高可用性的分布式文件系统，专为POLARDB 数据库服务而设计，目前已在阿里云上提供。PolarFS 在用户空间中利用了轻量级网络堆栈和I/O 堆栈，充分利用了RDMA、NVMe和SPDK等新兴技术。通过这种方式，PolarFS 的端到端延迟大大降低，实验表明PolarFS 的写入延迟与SSD 上本地文件系统的写入延迟非常接近。
Hadoop性能优化经验
m0_51697147的博客
03-23 303
1.调整Hadoop的配置参数： Hadoop提供了一系列的配置参数，可以根据实际情况调整配置参数来优化Hadoop性能。例如：可以调整MapReduce框架的堆大小、任务数、缓存大小和压缩设置等。 ...
Hadoop文件上传技术详解
文件标题“hadoop上传文件共5页.pdf.zip”表明，这个文件可能是一个包含五个页面的关于Hadoop上传文件的教程或者文档。文件被压缩成.zip格式，可能为了便于存储和传输。标签“hadoop上传文件共5页.pdf”则进一步确认...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据与算法架构提升之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值