- 博客(11)
- 收藏
- 关注
RSS订阅原创 HBase可视化Web工具
最近使用HBase需要频繁的查询添加HBase数据，使用HBase Shell感觉还是不太方便，但是找了一圈发现也没有一个现成地可视化工具可以直接使用，所以就简单写了一个HBase的可视化Web工具，可以支持开发过程中常用的查询，添加和删除功能，有需要的试一试~
2025-01-06 14:40:54
199
原创 自定义KafkaLogAppender搭建大数据日志管理分析系统
消息格式在 Flink 分布式环境中，需要在日志中标识消息来源节点，因此在 contextData 中添加以下信息：字段名说明示例值nodeId节点唯一标识nodeType节点类型nodeHost节点主机名/IPtaskIdTask唯一标识子任务索引"0"jobIdlog4j2.xml文件中添加flink相关信息-- 定义全局属性 -->-- 控制台输出 -->-- Kafka日志追加器 -->-- 预配置基础上下文数据 -->
2025-01-02 22:22:00
872
原创 SQL统计每天的变化量和累计值
今天业务提出了一个小需求，希望查看舆情事件中涉及的预警事件，近几日内作品量和触达量的变化曲线。计算出每天（统计日期）的触达量变化值，累计触达量，预警事件数量。每行数据代表一个预警编号对应的预警时间和最新的触达量。
2024-12-18 22:35:55
823
原创 SQL转Elasticsearch的DSL（二）
此前分享了通过引入外部的 GO 程序来实现 SQL 到 DSL 的转换的文章，然而在后续测试过程中发现部分条件的转换仍有问题，例如不支持 IS 和 IS NOT。所以在这段时间，决定自行编写一个更为完善的转换工具以支撑自身项目。
2024-08-01 08:30:00
2387
原创 Flink异步I/O提高维度关联效率
从两次测试样本来看，Async I/O 确实要比同步I/O速度要快，但是从监控来看Async I/O时内存使用以及GC也比同步I/O要消耗的资源更大，所以在优化时也要考虑外部系统的承受压力，合理设置参数。有精力的兄弟可以自己测试一下~
2024-07-29 18:55:54
385
原创 Flink HBase Sink
昨天整理了一下Flink写Elasticsearch的SinkFunction，可以支持插入写、更新写和删除写，顺便把HBase的SinkFunction也修改了一下，支持插入写和删除写。有需要的可以试试~
2024-07-27 20:16:59
401
原创 Flink Elasticsearch Sink
看flink源码时看到了Flink对Elasticsearch的连接器，因为平时往es写数据比较频繁，所以参考源码并且精简了一下，有需要的可以试试~
2024-07-26 20:13:14
261
原创 ElasticSearch：SQL 转 DSL
最近项目中出了点问题，原因是将ES的查询SQL通过ES Service的_sql/translate 接口转换为DSL时，出现了严重嵌套的问题.
2024-07-25 18:15:00
1849
1
原创 Flink源码（一）：StreamGraph
前提：由于最近需要在原有Flink CEP的基础上，实现动态加载CEP规则的需求，因此想到了通过自定义动态CEP算子以及自定义动态pattern加载的算子协调器实现规则的更新。因此在开发同时记录一下Flink数据处理的过程。
2024-07-23 22:57:27
1641
原创 centos 7.5 安装 openGauss 6.0.0-RC1 极简版
centos 7.5 安装 openGauss 6.0.0-RC1 极简版
2024-06-27 23:41:46
438
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人