hadoop
关注
分享
扫一扫
文章平均质量分 94
Hadoop相关知识
顧棟
coding and writing
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HDFS 3.4.1 集成Kerberos 实现账户认证
HDFS 3.4.1 集成Kerberos 实现账户认证原创 2025-06-10 20:35:22 · 1044 阅读 · 0 评论 -
CentOS 7.3环境中部署Kerberos集群
部署Kerberos集群实现HA原创 2025-06-10 20:34:23 · 872 阅读 · 0 评论 -
一种Spark程序运行指标的采集与任务诊断实现方式
一种Spark程序运行指标的采集与任务诊断实现方式原创 2025-04-24 18:12:37 · 1159 阅读 · 0 评论 -
Spark On Yarn的机器出现IO过高的告警
Spark on Yarn模式下Yarn节点出现IO过高的问题原创 2025-04-22 08:55:33 · 1137 阅读 · 0 评论 -
【ES实战】治理项之索引模板相关治理
Elacticsearch索引模板治理。如何查询Flink on Yarn 模式下的Task Manager日志。原创 2025-01-26 18:38:15 · 1160 阅读 · 0 评论 -
【Yarn】通过JMX采集yarn相关指标的Flink任务核心逻辑
输出Kafka:huatuo_yarn_jmx_queue_metric。输出Kafka:huatuo_yarn_jmx_rm_metric。构建查询Active的RM中的核心指标Model。jmx中完整的bean中的name.key的值。一次性请求所有配置的指标。构造输出对象json。原创 2024-12-31 00:00:00 · 1671 阅读 · 0 评论 -
【Yarn】Yarn监控调研分析与实现设计
ResourceManager（Acticve状态）的JVM情况 （按时间序列）ResourceManager（Acticve状态）端口RPC情况（按时间序列）队列资源指标历史明细表（Doris明细模型）DUPLICATE KEY(RM指标信息历史明细表（Doris明细模型）DUPLICATE KEY(队列资源指标最新明细表（Doris主键模型）UNIQUE KEY(核心端口使用情况（操作数量，操作耗时，队列长度，连接数等）队列指标情况（按时间序列）队列指标情况（按时间序列）4.1写入Doris。原创 2024-12-30 23:30:00 · 1901 阅读 · 0 评论 -
【Hive实战】Hive MetaStore升级调研
Hive MetaStore升级原创 2024-10-22 20:00:59 · 1173 阅读 · 0 评论 -
【Iceberg分析】Spark与Iceberg集成落地实践（一）
iceberg表管理原创 2024-10-07 18:06:31 · 2026 阅读 · 0 评论 -
【Iceberg分析】Spark集成Iceberg采集输出
Spark集成Iceberg采集输出验证原创 2024-10-07 18:00:00 · 922 阅读 · 0 评论 -
【Spark 实战】基于spark3.4.2+iceberg1.6.1搭建本地调试环境
iceberg+spark搭建阅读本地调试环境原创 2024-09-30 18:42:15 · 1439 阅读 · 0 评论 -
【Iceberg分析】调研Iceberg中表的原地演变
iceberg的表的原地演变原创 2024-09-30 18:42:43 · 1438 阅读 · 0 评论 -
【Yarn】Yarn的基本执行流程（三） 应用运行结束流程
Yarn的基本执行流程之应用运行结束原创 2024-08-29 06:30:00 · 833 阅读 · 0 评论 -
【Yarn】Yarn的基本执行流程（二）AM Container的启动
Yarn的基本执行流程之AM Container的启动原创 2024-08-29 06:00:00 · 1346 阅读 · 0 评论 -
【Yarn】Yarn的基本执行流程（一）应用程序提交
Yarn的基本执行流程之应用程序提交原创 2024-08-28 23:06:39 · 1382 阅读 · 0 评论 -
【Hadoop实战】Hadoop指标系统V2分析
hadoop的指标系统V2原创 2023-11-10 19:00:00 · 1662 阅读 · 0 评论 -
Yarn的状态机框架分析
状态机(State Machine)，是有限状态自动机的简称。简单解释：给定一个状态机，同时给定它的当前状态和输入，那么输出状态时可以明确的运算出来的。原创 2023-09-28 00:45:00 · 423 阅读 · 0 评论 -
Yarn的服务化框架分析-ResourceManager主服务简化示例
Yarn的service框架分析原创 2023-09-18 21:04:05 · 277 阅读 · 0 评论 -
Yarn的事件驱动模型分析-异步调度
yarn的事件驱动编程分析原创 2023-09-09 17:47:59 · 370 阅读 · 0 评论 -
【HDFS学习】配额与存储策略
配额与存储策略原创 2023-07-07 18:21:22 · 1475 阅读 · 0 评论 -
【Hadoop实战】Windows环境下编译Hadoop2（2.10.2-R0）
Windows下编译Hadoop2.10.2原创 2023-06-28 10:24:44 · 1256 阅读 · 0 评论 -
离线分析fsimage文件进行数据深度分析
HDFS元数据分析原创 2023-06-19 18:02:34 · 1188 阅读 · 0 评论 -
【Trino实战】Trino下ORC与Parquet查询性能分析
Trino下ORC与Parquet查询性能分析原创 2023-06-16 00:00:00 · 1241 阅读 · 0 评论 -
ORC与Parquet压缩分析
ORC 与Parquet 文件的以下压缩算法分析lzo、lz4(lz4_raw)、Zstandard、 snappy原创 2023-06-14 20:32:33 · 602 阅读 · 0 评论 -
数据的存储方式（Parquet、ORC）
数据的存储文件格式原创 2023-06-09 18:05:49 · 3427 阅读 · 1 评论 -
【Hive实战】 Hive的权限模型
Hive的权限模型原创 2023-04-27 20:10:07 · 1518 阅读 · 0 评论 -
常用大数据组件HA客户端的创建（JAVA版）
大数据常用组件的客户端HA创建原创 2023-03-30 09:35:01 · 633 阅读 · 0 评论