- 博客(507)
- 收藏
- 关注
RSS订阅
原创 【Flink metric（2）】chunjun的metric系统是怎么设计的:如何注册metric、如何同步metric
【Flink-源码分析】chunjun的metric系统是怎么设计的:如何注册metric、如何同步metric
2024-06-24 22:50:22
1102
原创 【Flink metric（1）】Flink指标系统的系统性知识：获取metric以及注册自己的metric
【Flink metric】Flink指标系统的系统性知识：以便我们实现特性化数据的指标监控与分析
2024-06-23 22:39:31
2061
1
原创 【源码分析】chunjun实现flink sql连接器的顶层思想：通过实现InputFormatSourceFunction来串起flink sql 连接器的生命周期
【源码分析】chunjun实现flink sql连接器的顶层思想：通过实现InputFormatSourceFunction来串起flink sql 连接器的生命周期
2024-06-23 22:15:00
1083
原创 【源码分析】一个flink job的sql到底是如何执行的（一）：flink sql底层是如何调用connector实现物理执行计划的
【源码分析】一个flink job的sql到底是如何执行的（一）：flink sql底层是如何调用connector实现物理执行计划的
2024-01-11 23:12:46
1800
原创 【深度学习】hello tensorflow：安装TensorFlow（on mac m3）、tensorflow集成到idea、第一个tensorflow程序（以及tf2适配版本tf1）
【机器学习】hello tensorflow：安装TensorFlow（on mac m3）、tensorflow集成到idea、第一个tensorflow程序（以及tf2适配版本tf1）
2023-12-15 13:39:30
2702
5
原创 【源码解析】flink sql执行源码概述：flink sql执行过程中有哪些阶段，这些阶段的源码大概位置在哪里
本文大致分析了flink sql执行过程中的各个阶段的源码逻辑，这样可以在flink sql执行过程中， 能够定位到任务执行的某个阶段的代码大概分布在哪里，为更针对性的分析此阶段的细节逻辑打下基础，比如create 的逻辑是怎么执行的，select的逻辑是怎么生成的，优化逻辑都做了哪些，而这些是接下来的文章要分析的。
2023-12-13 23:20:18
2253
1
原创 【性能调优】【离线任务】flink处理离线任务（8000个小文件？200多亿数据量？）稳定性与性能调优探索
【性能调优】【离线任务】flink处理离线任务（8000个小文件？200多亿数据量？）稳定性与性能调优
2023-01-09 23:43:41
2137
原创 【性能|优化】TB级flink任务报错分析：Could not compute the container Resource
【性能|优化】TB级flink任务报错分析：Could not compute the container Resource
2022-11-29 00:29:17
2098
2
原创 【shuffle/内存模型】spark（七）超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面
【shuffle/内存模型】超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面
2022-09-30 23:06:36
1655
原创 【修改源码】hadoop 3.3.1 failed with status code 401 Response message: Authentication required
本文主要通过修改源码解决hadoop内部通讯鉴权的问题。
2022-09-19 16:00:07
1651
4
原创 【运维/安装】Flink + MinIO：实现light-weighting思路下的集群(集群、高可用&&POC、快速搭建)
本文通过使用flink+MinIO安装实现flink standalone的集群模式，实现“轻量化集群”flink集群本身作为计算资源，去执行flink jobMinio 用于存储Flink job产生checkpoint和savepoint、以及存储flink HA的一些信息，也就是作为分布式存储系统。
2022-09-14 21:23:55
5880
18
原创 【分析思路】hadoop 3.3.1 bug修复：failed with status code 401 Response message: Authentication required
为了支持国产化，hadoop需要安装3.3.1版本，而客户这边需要安全认证，所以对于hadoop需要做的事是升级到3.3.1版本、支持HA模式、安全认证。本文关注hadoop升级过程、启动中出现的401权限问题。
2022-09-05 21:37:18
1463
原创 【系统设计【1】】系统设计面试方法论：从0到百万用户的需求到架构的推演
从简到繁：先实现最小可行架构，再逐步解决扩展性问题数据驱动：根据流量模型（如读多写少）选择合适的技术方案问题拆解：将复杂系统分解为可独立设计的模块权衡意识：任何设计都是Trade-off，需明确优先级演进思维：架构不是一蹴而就的，需考虑未来3-5年的扩展空间通过结构化的思考方法、清晰的表达逻辑以及对系统演进的深入理解，技术人才能够在系统设计面试中脱颖而出，展现从工程师到架构师的思维跃迁。参考：《搞定系统设计》
2025-06-11 23:13:27
332
原创 【Go语言基础【16】】结构体：方法接受者、组合（代码复用）、内存对齐、json序列化
【Go语言基础【16】】结构体：方法接受者、组合（代码复用）、内存对齐、json序列化
2025-06-08 15:37:03
902
原创 【Go语言基础【14】】defer与异常处理（panic、recover）
【Go语言基础【14】】defer与异常处理（panic、recover）
2025-06-07 22:18:06
721
原创 【Go语言基础【10】】循环语句:for、无限循环、for range、嵌套
【Go语言基础【10】】循环语句:for、无限循环、for range、嵌套
2025-06-07 00:18:34
653
原创 【Go语言基础【2】】数据类型之基础数据类型：数字、字符、布尔、枚举、自定义
【Go语言基础【2】】数据类型之基础数据类型：数字、字符、布尔、枚举、自定义
2025-06-05 22:40:04
1042
原创 【Go语言基础】基本语法
本文总结了Go语言的基础语法要点。程序结构包括包声明、导入、常量变量、类型定义和入口函数。词法标记包括关键字、标识符等编译器解析单元。标识符命名规则要求首字符为字母或下划线，区分大小写且不能是关键字。注释支持行注释和块注释，行分隔符自动处理。Go有25个保留关键字和若干预定义标识符。最后通过示例展示了包声明、变量定义、控制结构、函数定义等核心语法。这些是学习Go语言编程的重要基础。
2025-06-05 22:20:02
543
原创 【方法论】金字塔内部的结构
文章介绍了如何运用金字塔结构来组织写作，确保思想的逻辑性和条理性。金字塔结构通过纵向和横向的逻辑关系，帮助作者清晰地表达观点。纵向逻辑采用“疑问—回答”链条，逐层深入，吸引读者；横向逻辑则强调同一层级思想的一致性和归纳或演绎关系的明确性。序言部分通过背景、冲突、疑问和回答的叙事结构，引出文章的核心问题，增强读者的代入感。文章还对比了普通序言与故事化序言的效果，强调故事化叙述更能引发读者兴趣。金字塔结构不仅适用于写作，也适用于日常沟通和演讲，使信息传递更精准有效。
2025-05-18 18:00:57
1059
flink on yarn 模式下，flink 1.12.5版本运行所需完整lib包
2022-08-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人