
HDFS全方位实战
文章平均质量分 74
写精品HDFS技术分享文章,区别于网上的大断摘抄代码,本专栏会更多给出图解、总结、个人心得等干货。
优惠券已抵扣
余额抵扣
还需支付
¥29.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
大数据技术部落
专注于大数据技术,Hadoop、HBase、Spark、Kafka、ZK、Flink、Alluxio等
展开
-
【精】HDFS基于磁盘ioutil的选盘策略实现
【精】HDFS基于磁盘ioutil的选盘策略实现原创 2022-02-18 17:28:31 · 667 阅读 · 0 评论 -
【全网首篇】使用Netty传递文件描述符
本文内容如下:①使用Netty的EpollDomainSocketChannel在两个进程间传递文件符的代码示例。②Netty传递文件描述符的原理。(重点)③踩坑过程以及如何解决的一、代码示例代码这一节不是重点,对netty编程不熟的可直接跳到后面原理讲解部分。等实际开发中有这个需求再回过头来看即可。注:以下代码只能运行在Linux操作系统上,因为Netty中的一些native方法的系统调用只有Linux支持。1.1 服务端代码NettyDomainSocketServer.javap原创 2021-10-19 23:00:40 · 385 阅读 · 0 评论 -
【精】一个完整的HDFS线上故障case的分析与解决:扩容导致集群变慢问题
通过本文,你将学到包括但不限于如下知识:解决HDFS线上问题的一般流程一个完整的HDFS线上故障问题解决case:扩容集群为何会导致集群性能严重下滑?以及探讨给出优化方案。Linux网卡信息相关命令、Linux硬盘监控和分析工具smartctl等本文将以一个生产环境下的线上告警为线索,一步一步抽丝剥茧找到引发告警的原因,并solve it!绝对让你有所收获!一、告警现象HDFS告警群不断出现DataNode的日志文件中Warn级别的日志数过多的告警。同时有业务方开始反馈集群的HDFS变得很慢原创 2021-06-28 15:59:10 · 612 阅读 · 0 评论 -
【精】彻底熟悉Hadoop RPC框架
学习HDFS绕不开的一个重要的知识点就是Hadoop RPC框架。但是能将RPC框架从客户端->服务端,再从服务端到客户端这一套通信脉络顺着讲明白的资料很少。不少都是给出各个类的定义啊,调用了什么方法啊,很难让读者直观的理解Hadoop RPC框架。因此决定写这样一篇文章,我觉得只要认真读这篇文章,同时跟着本文的流程走一遍,掌握Hadoop RPC框架绝对是不在话下。本文通过流程图+文字详细的介绍了Hadoop RPC框架。本文首先从DFSClient出发,追踪一个RPC请求的传播路径,以此对Had原创 2021-08-08 12:58:17 · 1382 阅读 · 0 评论 -
【精】HDFS踢盘策略优化
通过本文,你将有如下收获:如何根据hdfs location定位到真实DataNode上的哪个目录,再进一步定位到磁盘扇区?如何模拟扇区故障。诱发HDFS的IOException?HDFS踢盘的优化方案。一、实验过程准备工作:为了防止坏块被HDFS修复,增大每次坏块的复现时间成本,因此在上传测试文件时指定为单副本,这样弄坏这个block之后,HDFS也没法正常补充它。上传文件,并指定单副本命令hdfs dfs -D dfs.replication=1 -put testfile /user原创 2021-06-26 11:17:11 · 396 阅读 · 0 评论 -
【HDFS】addInternalPBProtocol、setProtocolEngine和registerProtocolAndImpl
【HDFS】addInternalPBProtocol、setProtocolEngine和registerProtocolAndImpl原创 2025-02-11 16:34:11 · 77 阅读 · 0 评论 -
【HDSF】ProtobufRpcEngine 和 ProtobufRpcEngine2
【HDSF】ProtobufRpcEngine 和 ProtobufRpcEngine2原创 2025-02-10 15:00:35 · 80 阅读 · 0 评论 -
【HDFS】Router中执行invoke的代理对象详解
【HDFS】Router中执行invoke的代理对象详解原创 2024-12-31 17:17:29 · 89 阅读 · 0 评论 -
【Java】jmx_exporter在jdk8上遇到服务线程数多时的性能问题
【Java】jmx_exporter在jdk8上遇到服务线程数多时的性能问题原创 2024-12-18 21:01:38 · 120 阅读 · 0 评论 -
【Java】protobuf-maven-plugin主动下载protoc编译proto文件
【Java】protobuf-maven-plugin主动下载protoc编译proto文件原创 2024-12-06 17:11:51 · 306 阅读 · 0 评论 -
【HDFS】HADOOP-11552.Allow handoff on the server side for RPC requests
【HDFS】HADOOP-11552.Allow handoff on the server side for RPC requests原创 2024-07-26 17:36:12 · 253 阅读 · 0 评论 -
【HDFS】问题排查记录:Nvme盘故障导致DataNode节点读写操作吞吐降为0,命令队列堆积
【HDFS】问题排查记录:Nvme盘故障导致DataNode节点读写操作吞吐降为0,命令队列堆积原创 2024-07-15 11:30:49 · 147 阅读 · 0 评论 -
【HDFS】关于Hadoop的IPC.Client类的一些整理
【HDFS】关于Hadoop的IPC.Client类的一些整理原创 2024-06-28 17:56:34 · 269 阅读 · 0 评论 -
【HDFS】处理状态为RECEIVING_BLOCK的增量块汇报
【HDFS】处理状态为RECEIVING_BLOCK的增量块汇报原创 2024-06-01 19:28:21 · 206 阅读 · 0 评论 -
【HDFS】FSImage加载过程之loadINode过程
【HDFS】FSImage加载过程之loadINode过程原创 2024-05-27 15:45:50 · 107 阅读 · 0 评论 -
【HDFS】FSImage加载过程之整体流程一览
【HDFS】FSImage加载过程之整体流程一览原创 2024-05-27 14:43:12 · 174 阅读 · 0 评论 -
【HDFS】FSImage加载过程之loadRootINode,加载根节点
【HDFS】FSImage加载过程之loadRootINode,加载根节点原创 2024-05-27 11:43:08 · 87 阅读 · 0 评论 -
【HDFS】关于HDFS-17497:在commit block时更新quota
【HDFS】关于HDFS-17497:在commit block时更新quota原创 2024-05-11 16:35:39 · 245 阅读 · 1 评论 -
【HDFS】 双Buffer数据结构:EditsDoubleBuffer
【HDFS】 双Buffer数据结构:EditsDoubleBuffer原创 2024-05-06 17:48:42 · 168 阅读 · 0 评论 -
【HDFS】JournalSet 与 QJM、FJM的关系梳理
【HDFS】JournalSet 与 QJM、FJM的关系梳理原创 2024-05-06 10:50:59 · 268 阅读 · 0 评论 -
【HDFS】FSEditLogAsync初始化细节
【HDFS】FSEditLogAsync初始化细节原创 2024-05-04 22:07:07 · 150 阅读 · 0 评论 -
【HDFS】HDFS写editlog流程总览
【HDFS】HDFS写editlog流程总览原创 2024-04-30 16:34:44 · 161 阅读 · 0 评论 -
【HDFS】 加快DN启动速度,把磁盘下finalized、rbw目录下副本添加到ReplicaMap里这个操作所需线程池并行度调大
【HDFS】 DN启动时把磁盘下finalized、rbw目录下副本添加到ReplicaMap里能否加快速度?原创 2024-04-19 14:57:45 · 133 阅读 · 0 评论 -
【HDFS】DirectoryScanner与append操作对副本状态判定是否存在冲突?
【HDFS】DirectoryScanner与append操作对副本状态判定是否存在冲突?原创 2024-04-11 13:52:10 · 87 阅读 · 0 评论 -
【HDFS】refreshNamenodes命令用途、用法、原理详细解析
【HDFS】refreshNamenodes命令用途、用法、原理详细解析原创 2024-04-09 18:31:07 · 144 阅读 · 0 评论 -
【HDFS】 写数据报 NOT_ENOUGH_STORAGE_SPACE
【HDFS】 写数据报 NOT_ENOUGH_STORAGE_SPACE原创 2024-04-07 16:15:43 · 349 阅读 · 0 评论 -
【Linux】C10K问题
【服务器】C10K问题原创 2024-04-01 10:04:36 · 131 阅读 · 0 评论 -
【HDFS】DatanodeAdminBackoffMonitor退役节点极慢的问题定位
【HDFS】DatanodeAdminBackoffMonitor退役节点极慢的问题定位原创 2024-03-20 11:18:56 · 238 阅读 · 0 评论 -
【存储】without SPDK时,fio测试nvme SSD 和HDD对比
【存储】without SPDK时,fio测试nvme SSD 和HDD对比原创 2024-03-04 21:25:38 · 279 阅读 · 0 评论 -
【HDFS】Decommision(退役) EC数据节点剩最后几个块卡住的问题
【HDFS】Decommision(退役) EC数据节点剩最后几个块卡住的问题原创 2024-02-28 11:36:20 · 439 阅读 · 0 评论 -
【HDFS】FSNamesystem#internalReleaseLease方法源码详解
【HDFS】FSNamesystem#internalReleaseLease方法源码详解原创 2024-01-29 21:14:43 · 127 阅读 · 1 评论 -
【HDFS】EC写数据时checkStreamerFailures逻辑
【HDFS】EC写数据时checkStreamerFailures逻辑原创 2024-01-28 00:33:07 · 133 阅读 · 0 评论 -
【HDFS】一天一个RPC系列--updatePipeline
【HDFS】一天一个RPC系列--updatePipeline原创 2024-01-27 23:53:09 · 528 阅读 · 0 评论 -
【HDFS】一天一个RPC系列--updateBlockForPipeline
【HDFS】一天一个RPC系列--updateBlockForPipeline原创 2024-01-27 21:09:22 · 723 阅读 · 0 评论 -
【HDFS】想不到NameNode的异步EditLog竟然这么多细节
【HDFS】想不到NameNode的异步EditLog竟然这么多细节原创 2024-01-11 20:27:34 · 208 阅读 · 0 评论 -
【HDFS】读数据ReaderStrategy类
【HDFS】读数据ReaderStrategy类原创 2024-01-08 16:42:07 · 422 阅读 · 0 评论 -
【HDFS-Client】FSOutputSummer#write1方法的细节
【HDFS-Client】FSOutputSummer#write1方法的细节原创 2023-12-20 00:21:20 · 384 阅读 · 0 评论 -
【HDFS】如果文件的lastblock的最后一个chunk不满512字节,会生成checksum么?
【HDFS】如果文件的lastblock的最后一个chunk不满512字节,会生成checksum么?原创 2023-12-19 14:26:43 · 434 阅读 · 0 评论 -
【HDFS】FsDatasetSpi#adjustCrcChannelPosition
【HDFS】FsDatasetSpi#adjustCrcChannelPosition原创 2023-12-15 15:50:12 · 167 阅读 · 0 评论 -
【HDFS】DFSPacket中lastPacketInBlock字段的关键作用
【HDFS】DFSPacket中lastPacketInBlock字段的关键作用原创 2023-12-14 22:32:11 · 122 阅读 · 0 评论