- 博客(21)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 【Kafka】Kafka运行指标与prometheus+grafana集成
一篇文章教会你怎么采集kafka指标到prometheus+grafana，并完成可视化配置。
2023-07-17 19:31:12
1755
原创 【Flink】Flink运行指标接入Prometheus+Granfana
手把手教你导出flink运行指标，完成prometheus+grafana监控集成。
2023-06-07 21:07:00
3450
1
原创 【FlinkCdc】Flink MysqlCdc连接数据库失败，SSLHandshakeException怎么破？
Flink MysqlCdc连接数据库失败，报SSLHandshakeException，应该怎么破？
2023-05-22 20:43:53
3001
原创 【Starrocks】starrocks查询bug：count(distinct)影响count(1)计算结果
报告一个Starrocks基础的执行引擎查询bug及其临时解决方案
2023-04-24 15:49:40
807
2
原创 FlinkCDAS同步starrrocks，varchar超长导致数据同步失败
使用FlinkCDAS同步mysql数据到starrocks，报org.apache.flink.table.api.TableException: Failed to deserialize the input record，究竟是怎么回事？
2023-03-13 10:24:44
1613
1
原创 【数据湖hudi应用】hudi同步NoSuchMethodError（Types$PrimitiveBuilder.as）修复
一篇文章告诉你hudi同步数据出现NoSuchMethodError（Types$PrimitiveBuilder.as）怎样修复
2022-08-09 09:29:12
2013
4
原创 【Hudi数据湖应用】Flink作业同名类强转异常ClassCastException修复
运行flink作业时，出现同名类强转异常ClassCastException，这到底是怎么回事呢？应该怎么解决？阅读这篇文章，我们一起寻找答案。
2022-06-27 10:00:19
1072
2
原创 【Hudi数据湖应用】hudi 0.11编译异常之HoodieParquetDataBlock找不到合适的ByteArrayOutputStream构造器
一篇文章告诉你如何修复Hudi0.11编译：HoodieParquetDataBlock找不到合适的ByteArrayOutputStream构造器。
2022-06-13 08:00:00
1313
原创 【Hudi数据湖应用】手把手带你应用hudi的hive sync tool与避坑
一篇文章教会你如何使用hudi的hive sync tool及如何避免已知的hive sync tool的坑。
2022-06-05 19:59:15
3778
原创 【Java基础】Idea启动Spring boot失败之Could not resolve placeholder解决全攻略
Spring boot项目一般会使用大量注解来注入配置，当注解解析失败无疑会直接影响项目启动。出现这种情况时应该怎么办呢？一篇文章解答所有注解注入失败的所有情况！
2022-05-14 18:40:44
17581
1
原创 【Hudi数据湖应用】Hudi-Spark-Bundle NoSuchMethodError(SessionHandler.setHttpOnly)异常修复
最近尝试在sparksql上对hudi表进行insert数据，会报java.lang.NoSuchMethodError: org.apache.hudi.org.apache.jetty.server.session.SessionHandler.setHttpOnly(Z)V异常。如果只是进行简单的create table, 然后进行select查询是没有问题的。但如果是create table test_cow using hudi as select * from source_cw这样的语句，由
2022-04-18 14:46:38
2907
9
原创 FlinkCDC-Hudi:Mysql数据实时入湖全攻略六：极限压测下炸出来的FlinkCDC-Hudi坑，真多
一篇文章告诉你，使用FlinkCDC写入Hudi完成数据入湖会遇到什么坑。
2022-02-27 19:14:13
5429
5
原创 FlinkCDC-Hudi:Mysql数据实时入湖全攻略五：FlinkSQL同时输出到kafka与hudi的几种实现
一文告诉你如何在FlinkSQL中实现一个作业多路输出。
2022-02-22 11:16:36
3264
原创 FlinkCDC-Hudi:Mysql数据实时入湖全攻略四：两种FlinkSql kafka connector的特征与应用
一篇文章带你全面了解FlinkSql中两种kafka connector，掌握其应用特征与适用场景，轻松应于生产服务与数据入湖。
2022-02-21 11:49:41
4191
4
原创 FlinkCDC-Hudi:Mysql数据实时入湖全攻略三：探索实现FlinkCDC mysql 主从库同步高可用
在生产环境中，mysql一般会配备主从库，以实现数据备份、服务容灾、读写分离等需要。使用FlinkCdc进行mysql数据入湖时，就不可避免地要和主从库打交道。FlinkCDC对mysql主从库的切换支撑到什么程度、数据库需要怎么配置、同步程序要怎么配合操作和开发，是FlinkCDC投入生产应用前必验项目。本文记录了使用FlinkCDC进行Mysql主从数据同步的主要验证过程，以为后鉴。
2022-02-17 20:56:43
7121
8
原创 FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案
在Hudi与Spark整合的过程中，会有不少坑。本文记录Hudi与Spark整合过程中发现的坑点及其解决方案。
2022-02-14 19:39:09
3334
1
原创 FlinkCDC-Hudi:Mysql数据实时入湖全攻略一：初试风云
一、背景FlinkCDC是基于Flink开发的变化数据获取组件（Change data capture），目前支持mysql、PostgreSQL、mongoDB、TiDB、Oracle等数据库的同步。Hudi是一个流式数据湖平台，使用Hudi可以直接打通数据库与数据仓库，Hudi可以连通Hadoop、hive，支持对数据record粒度的增删改查。Hudi支持同步数据入库，提供了事务保证、索引优化，是打造实时数仓、实时湖仓一体的新一代技术。本文尝试使用FlinkCDC同步Mysql数据，通
2022-02-10 19:46:04
5847
hudi_0.10.1-flink_1.13.6-bundle
2022-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人