- 博客(371)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 【ES实战】治理项之索引模板相关治理
Elacticsearch索引模板治理。如何查询Flink on Yarn 模式下的Task Manager日志。
2025-01-26 18:38:15
1113
原创 封装echarts成vue component
为了减少一些公共代码和方便使用echarts的line图形，有限制条件的封装echats中的line类型的图，该Component名称为。定义了空数据的展示效果，舍弃了有数据状态下的。增加了窗口自适应写法，并确定初始化图标高度为。中需要先确认数据每条线显示的效果，即配置。来判断图形是否包含数据，意味着需要通过。属性，否则不能正常使用该。
2024-12-31 19:02:04
394
原创 【Yarn】通过JMX采集yarn相关指标的Flink任务核心逻辑
输出Kafka:huatuo_yarn_jmx_queue_metric。输出Kafka:huatuo_yarn_jmx_rm_metric。构建查询Active的RM中的核心指标Model。jmx中完整的bean中的name.key的值。一次性请求所有配置的指标。构造输出对象json。
2024-12-31 00:00:00
1591
原创 【Yarn】Yarn监控调研分析与实现设计
ResourceManager（Acticve状态）的JVM情况 （按时间序列）ResourceManager（Acticve状态）端口RPC情况（按时间序列）队列资源指标历史明细表（Doris明细模型）DUPLICATE KEY(RM指标信息历史明细表（Doris明细模型）DUPLICATE KEY(队列资源指标最新明细表（Doris主键模型）UNIQUE KEY(核心端口使用情况（操作数量，操作耗时，队列长度，连接数等）队列指标情况（按时间序列）队列指标情况（按时间序列）4.1写入Doris。
2024-12-30 23:30:00
1811
原创 Vue2集成Echarts使用案例
Vue2集成Echarts使用案例文章目录Vue2集成Echarts使用案例全局化echarts页面使用示例常用属性全局化echarts在main.js中引入echarts，并导出全局变量。import * as nativeEcharts from 'echarts';Vue.prototype.$nativeEcharts = nativeEcharts;页面使用示例<template> <div> <div id="line2"
2024-12-02 22:00:00
934
原创 【Spark源码分析】规则框架-`optimization`阶段使用的规则
Finish Analysis: 对包括所有子查询在内的整个计划应用完成分析规则。操作优化的规则批 operatorOptimizationBatch。
2024-11-30 11:48:03
1048
1
原创 【Spark源码分析】规则框架- `analysis`分析阶段使用的规则
【代码】【Spark源码分析】规则框架- `analysis`分析阶段使用的规则。
2024-11-30 11:47:08
762
原创 【Spark源码分析】基于Spark3.4.2源码分析SparkSQL执行过程
** 为sql字符串创建逻辑计划 */// 获取构造器AstBuilder，将ParseTree转换为AST（visit模式）case _ =>command")// 将sql内容转换成字符流，并且转换成大写形式。词法解析器// 清空识别错误的监听器// ParseErrorListener将解析错误转换为 AnalysisException。ParseException继承AnalysisException。
2024-11-30 11:45:35
1549
原创 【Spark源码分析】规则框架-草稿
规则批：规则集合序列，由名称、执行策略、规则列表组成。一个规则批里使用一个执行规则。Finish Analysis: 对包括所有子查询在内的整个计划应用完成分析规则。操作优化的规则批 operatorOptimizationBatch。
2024-11-30 11:44:55
876
原创 【Iceberg分析】Spark与Iceberg集成之常用存储过程
数据文件越多，存储在清单文件中的元数据也就越多，而数据文件过小则会导致不必要的元数据量和文件打开成本，从而降低查询效率。catalog_name代表catalog的名称，procedure_name代表存储过程的名称，参数可以通过指定参数名的方式入参，也可以使用位移的方式入参。由于表迁移功能的风险较大，所以不去进行表的迁移，使用重建Iceberg表，重写数据的方式进行切换。用于删除未在iceberg表的任何元数据文件中引用的文件，因此可视为 “孤岛”。清单中的数据文件按分区规范中的字段排序。
2024-10-14 08:59:40
1337
原创 【Spark源码分析】ApplicationMaster基本启动流程
Spark中ApplicationMaster的基本启动流程，以Spark On Yarn的角度与分析
2024-09-07 23:36:56
1337
1
原创 StarRocks3.3.1集群（存算一体）部署基准测试实验
错误信息：ERROR : Expected LE 1 to be returned by expression。原因构造表date_dim中有两条数据重复了。由于执行的时间太长，需要以后台执行的方式来执行脚本。默认超时时长300，5分钟。
2024-08-31 15:39:11
919
原创 【ES实战】Elasticsearch的CircuitBreaker
Elasticsearch Circuit Breaker（熔断器/断路器）防止节点OOM
2024-08-02 10:27:34
1312
原创 【Hive实战】Linux磁盘空间不足导致HiveSession创建失败
Hive的服务器（Linux）的磁盘空间不足，会导致与hive建立session失败。最终导致使用到hive服务的Spark任务和Hive任务失败。查询子目录的大小，子目录层级一级，命令。
2024-07-05 18:05:18
425
基于SpringBoot3和JDK17，集成H2数据库和jpa
2024-06-01
java+告警采集通知
2024-05-29
JDK Linux一键安装脚本
2022-08-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人