- 博客(8)
- 收藏
- 关注
RSS订阅原创 Spark 基础 RDD、DataFrame 和 DataSet 区别与联系
摘要：Spark提供三种核心数据结构：RDD（弹性分布式数据集）是基础抽象，支持并行计算但需手动优化；DataFrame提供结构化数据处理和SQL支持，性能更优；DataSet结合两者优点，支持类型安全和高效编码。对比显示DataFrame/DataSet性能优于RDD（可达10倍），内存占用更少。RDD适用非结构化数据和精细控制，DataFrame适合结构化ETL，DataSet则适合类型敏感场景。开发效率上，DataSet≈DataFrame>RDD，根据场景需求选择合适的数据结构可显著提升处理效
2025-08-11 13:40:23
374
原创 大数据面试之 NameNode 性能监控指标深度解析
本文系统介绍了HDFS NameNode的监控方法论与优化实践。主要内容包括：1）监控的三个核心维度：JVM、RPC性能和元数据；2）关键指标解读，如堆内存使用率、RPC队列时间、文件总数等，并给出具体警戒阈值；3）监控实施建议，包括JMX指标采集和阈值设置参考；4）性能优化黄金法则，如内存计算、RPC线程数配置等。通过多维度监控和系统优化，可确保NameNode在大规模集群下的稳定运行。
2025-08-10 19:30:00
995
原创 HDFS 文件压缩算法
优先选择Zstd：在现代Hadoop集群中，Zstd在压缩比、速度和可分片性上表现均衡。避免Gzip用于计算：除非存储成本是首要考虑，否则不可分片的压缩格式会拖慢作业。监控资源：压缩会转移瓶颈从IO到CPU，需确保Datanode的CPU足够（如16核以上）。欢迎关注我的微信公众号，获取第一时间的内容推送。
2025-08-09 20:00:00
522
原创 大文件对 Hadoop 文件系统的影响
优势：大文件减少了文件元数据的总量，避免了小文件问题（如目录树膨胀）。挑战：若数据总量极大（PB级以上），块数量可能成为瓶颈，需监控NameNode内存和启动时间。建议监控Blocks数量和Heap usage（通过HDFS UI或JMX）。根据数据规模合理规划块大小和NameNode资源。
2025-08-08 16:59:33
813
原创 【大禹】大数据运维工具箱，小文件合并功能简介
工作中有很多大数据运维治理方面的场景，比如 HDFS 小文件治理，数据生命周期管理，大文件压缩等。所以做了这个工具箱，方便使用。项目地址：https://github.com/qiuyanjun888/dayu。
2025-08-03 19:30:00
365
原创 Hadoop 系统中小文件的影响及解决方案
Hadoop 系统中的小文件（远小于默认块大小的文件）会严重损害集群性能。它们显著增加 NameNode 的内存压力。同时，DataNode 汇报块信息时，磁盘寻址时间远超网络传输，极大拖慢恢复速度。解决方向包括文件合并、合理分区和使用专业工具（如"大禹"运维工具箱）进行自动化治理
2025-06-11 12:50:38
1519
原创 Java基础学习之Java语言的组成
Java语言组成 1. Java中的关键字 java中的关键字：其实就是一些英文单词，只是这些英文单词被java语言赋予了特殊的含义。不能更改这些英文单词的含义例：之前程序中书写的 class、public、static、void java语言中的关键字的特点：都是小写字母组成 2. 标识符 1. 什么是表示符 标识符就是
2015-11-16 12:37:35
651
原创 Java基础学习之初识Java
1. Java介绍及三种技术架构 要学习Java，首先要知道Java语言有哪些版本，我们准备学习哪个版本，下面我们来认识下Java语言有哪些版本吧，Java语言的版本如下： 1. J2SE(javaSE、JSE)： java语言的标准版(学习java的基础) 2. J2EE(javaEE、JEE): 企业版，专门为企业级应用程序开发，提供了N多的解决方案 3.
2015-11-16 10:36:47
602
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人