- 博客(472)
- 收藏
- 关注
RSS订阅
原创 【Flink metric（2）】chunjun的metric系统是怎么设计的:如何注册metric、如何同步metric
【Flink-源码分析】chunjun的metric系统是怎么设计的:如何注册metric、如何同步metric
2024-06-24 22:50:22
1074
原创 【Flink metric（1）】Flink指标系统的系统性知识：获取metric以及注册自己的metric
【Flink metric】Flink指标系统的系统性知识：以便我们实现特性化数据的指标监控与分析
2024-06-23 22:39:31
1973
1
原创 【源码分析】chunjun实现flink sql连接器的顶层思想：通过实现InputFormatSourceFunction来串起flink sql 连接器的生命周期
【源码分析】chunjun实现flink sql连接器的顶层思想：通过实现InputFormatSourceFunction来串起flink sql 连接器的生命周期
2024-06-23 22:15:00
1038
原创 【源码分析】一个flink job的sql到底是如何执行的（一）：flink sql底层是如何调用connector实现物理执行计划的
【源码分析】一个flink job的sql到底是如何执行的（一）：flink sql底层是如何调用connector实现物理执行计划的
2024-01-11 23:12:46
1726
原创 【深度学习】hello tensorflow：安装TensorFlow（on mac m3）、tensorflow集成到idea、第一个tensorflow程序（以及tf2适配版本tf1）
【机器学习】hello tensorflow：安装TensorFlow（on mac m3）、tensorflow集成到idea、第一个tensorflow程序（以及tf2适配版本tf1）
2023-12-15 13:39:30
2562
5
原创 【源码解析】flink sql执行源码概述：flink sql执行过程中有哪些阶段，这些阶段的源码大概位置在哪里
本文大致分析了flink sql执行过程中的各个阶段的源码逻辑，这样可以在flink sql执行过程中， 能够定位到任务执行的某个阶段的代码大概分布在哪里，为更针对性的分析此阶段的细节逻辑打下基础，比如create 的逻辑是怎么执行的，select的逻辑是怎么生成的，优化逻辑都做了哪些，而这些是接下来的文章要分析的。
2023-12-13 23:20:18
2176
1
原创 【性能调优】【离线任务】flink处理离线任务（8000个小文件？200多亿数据量？）稳定性与性能调优探索
【性能调优】【离线任务】flink处理离线任务（8000个小文件？200多亿数据量？）稳定性与性能调优
2023-01-09 23:43:41
2047
原创 【性能|优化】TB级flink任务报错分析：Could not compute the container Resource
【性能|优化】TB级flink任务报错分析：Could not compute the container Resource
2022-11-29 00:29:17
2057
2
原创 【shuffle/内存模型】spark（七）超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面
【shuffle/内存模型】超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面
2022-09-30 23:06:36
1586
原创 【修改源码】hadoop 3.3.1 failed with status code 401 Response message: Authentication required
本文主要通过修改源码解决hadoop内部通讯鉴权的问题。
2022-09-19 16:00:07
1537
4
原创 【运维/安装】Flink + MinIO：实现light-weighting思路下的集群(集群、高可用&&POC、快速搭建)
本文通过使用flink+MinIO安装实现flink standalone的集群模式，实现“轻量化集群”flink集群本身作为计算资源，去执行flink jobMinio 用于存储Flink job产生checkpoint和savepoint、以及存储flink HA的一些信息，也就是作为分布式存储系统。
2022-09-14 21:23:55
5645
18
原创 【分析思路】hadoop 3.3.1 bug修复：failed with status code 401 Response message: Authentication required
为了支持国产化，hadoop需要安装3.3.1版本，而客户这边需要安全认证，所以对于hadoop需要做的事是升级到3.3.1版本、支持HA模式、安全认证。本文关注hadoop升级过程、启动中出现的401权限问题。
2022-09-05 21:37:18
1379
原创 Flink 通过 Chunjun Oracle LogMiner 实时读取 Oracle 变更日志并写入 Doris 的方案
支持多种数据源连接器（如 Oracle、MySQL、PostgreSQL、Doris）。在大数据实时同步场景中，需要将。Flink任务启动后。
2025-03-19 10:43:35
1321
原创 【人工智能基础2】Tramsformer架构、自然语言处理基础、计算机视觉总结
【人工智能基础2】Tramsformer架构、自然语言处理基础、计算机视觉总结
2025-03-16 23:03:10
959
原创 【人工智能基础2】人工神经网络、卷积神经网络基础、循环神经网络、长短时记忆网络
【人工智能基础2】人工神经网络、卷积神经网络基础、循环神经网络、长短时记忆网络
2025-03-16 22:06:07
844
原创 【人工智能基础】Science4AI与AI4Science：科学与人工智能的协同创新
【人工智能基础】Science4AI与AI4Science：科学与人工智能的协同创新
2025-03-04 09:08:28
477
flink on yarn 模式下，flink 1.12.5版本运行所需完整lib包
2022-08-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人