- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark sql 导出数据到kafka报错解决
这个错原因是缺少spark-sql-kafka-0-10_2.11-2.4.5.jar依赖。查看spark目录下，没有kafka-clientsjar包。在提交命令中加入kafka-clients依赖包就好。下载jar包，放到服务器上，在提交命令中加入。
2022-07-23 17:57:58
3410
原创 Mac m1 max 工具安装及简介
此文章主要是针对于开发环境的安装，对于不同工具（jdk，scala，git，SVN，Maven，idea，pycharm，MySQL，Redis，iterm2，homebrew）的安装过程做一个总结。
2022-07-23 17:36:38
699
原创 Redis
文章主要总结了redis的一些应用场景及常用的使用命令，并包括持久化策略、主从复制、集群模式、分布式锁的实现、作为缓存时的使用注意事项及部分源码解析等内容
2022-04-13 10:18:01
1008
原创 flink从kafka读取数据写入clickhouse本地表的实现
实现功能因为直接写clickhouse的分布式表在数据量比较大的时候会有各种问题，所以做了一个flink读取kafka数据然后路由写入到相应的本地表节点，并且关于不同的表的配置信息可以随时更改并设置生效时间。实现流程首先从kafka将数据读取过来 然后进行相应的处理及逻辑判断写入到对应的clickhouse表格中 最后根据CDC读取来的配置信息进行相应节点的hash路由，直接写入本地表读取kafka数据定义kafka工具类，实现kafka的source获取函数public sta
2022-03-13 20:37:42
6010
2
原创 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error
flink任务重开启检查点并设置状态后端后，提交任务运行，出现以上错误，具体错误如下：org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the operation. Number of retries .
2022-03-12 18:35:44
16314
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人