自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(521)
  • 收藏
  • 关注

原创 【Flink metric(3)】chunjun是如何实现脏数据管理的

chunjun metric(二)之脏数据管理模块

2024-06-24 22:55:25 1626 1

原创 【Flink metric(2)】chunjun的metric系统是怎么设计的:如何注册metric、如何同步metric

【Flink-源码分析】chunjun的metric系统是怎么设计的:如何注册metric、如何同步metric

2024-06-24 22:50:22 1110

原创 【Flink metric(1)】Flink指标系统的系统性知识:获取metric以及注册自己的metric

【Flink metric】Flink指标系统的系统性知识:以便我们实现特性化数据的指标监控与分析

2024-06-23 22:39:31 2080 1

原创 【源码分析】chunjun实现flink sql连接器的顶层思想:通过实现InputFormatSourceFunction来串起flink sql 连接器的生命周期

【源码分析】chunjun实现flink sql连接器的顶层思想:通过实现InputFormatSourceFunction来串起flink sql 连接器的生命周期

2024-06-23 22:15:00 1094

原创 【源码分析】一个flink job的sql到底是如何执行的(一):flink sql底层是如何调用connector实现物理执行计划的

【源码分析】一个flink job的sql到底是如何执行的(一):flink sql底层是如何调用connector实现物理执行计划的

2024-01-11 23:12:46 1820

原创 【深度学习】hello tensorflow:安装TensorFlow(on mac m3)、tensorflow集成到idea、第一个tensorflow程序(以及tf2适配版本tf1)

【机器学习】hello tensorflow:安装TensorFlow(on mac m3)、tensorflow集成到idea、第一个tensorflow程序(以及tf2适配版本tf1)

2023-12-15 13:39:30 2717 5

原创 【源码解析】flink sql执行源码概述:flink sql执行过程中有哪些阶段,这些阶段的源码大概位置在哪里

本文大致分析了flink sql执行过程中的各个阶段的源码逻辑,这样可以在flink sql执行过程中, 能够定位到任务执行的某个阶段的代码大概分布在哪里,为更针对性的分析此阶段的细节逻辑打下基础,比如create 的逻辑是怎么执行的,select的逻辑是怎么生成的,优化逻辑都做了哪些,而这些是接下来的文章要分析的。

2023-12-13 23:20:18 2292 1

原创 【性能调优】【离线任务】flink处理离线任务(8000个小文件?200多亿数据量?)稳定性与性能调优探索

【性能调优】【离线任务】flink处理离线任务(8000个小文件?200多亿数据量?)稳定性与性能调优

2023-01-09 23:43:41 2167

原创 【性能|优化】TB级flink任务报错分析:Could not compute the container Resource

【性能|优化】TB级flink任务报错分析:Could not compute the container Resource

2022-11-29 00:29:17 2106 2

原创 【shuffle/内存模型】spark(七)超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面

【shuffle/内存模型】超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面

2022-09-30 23:06:36 1660

原创 【修改源码】hadoop 3.3.1 failed with status code 401 Response message: Authentication required

本文主要通过修改源码解决hadoop内部通讯鉴权的问题。

2022-09-19 16:00:07 1667 4

原创 【运维/安装】Flink + MinIO:实现light-weighting思路下的集群(集群、高可用&&POC、快速搭建)

本文通过使用flink+MinIO安装实现flink standalone的集群模式,实现“轻量化集群”flink集群本身作为计算资源,去执行flink jobMinio 用于存储Flink job产生checkpoint和savepoint、以及存储flink HA的一些信息,也就是作为分布式存储系统。

2022-09-14 21:23:55 5974 19

原创 【分析思路】hadoop 3.3.1 bug修复:failed with status code 401 Response message: Authentication required

为了支持国产化,hadoop需要安装3.3.1版本,而客户这边需要安全认证,所以对于hadoop需要做的事是升级到3.3.1版本、支持HA模式、安全认证。本文关注hadoop升级过程、启动中出现的401权限问题。

2022-09-05 21:37:18 1471

原创 【机器学习3】机器学习(鸢尾花分类)项目核心流程与企业实践差异分析

【机器学习3】机器学习(鸢尾花分类)项目核心流程与企业实践差异分析

2025-07-04 23:13:46 571

原创 【学习线路】机器学习线路概述与内容关键点说明

通过数据驱动让计算机自动学习规律,无需显式编程(Arthur Samuel)。核心公式:程序通过经验(E)提升任务(T)性能(P)(Tom Mitchell)。

2025-07-03 23:45:27 1040

原创 【RAG技术(1)】大模型为什么需要RAG

【RAG技术(1)】大模型为什么需要RAG

2025-06-24 19:40:54 624

原创 【系统设计【5】】一致性哈希:从系统崩溃到优雅扩容的设计演进

【系统设计【5】】一致性哈希:从系统崩溃到优雅扩容的设计演进

2025-06-22 14:18:38 983

原创 【Weaviate底层】Weaviate写数据之两阶段提交:cannot reach enough replicas的判断

【Weaviate底层】Weaviate写数据之两阶段提交:cannot reach enough replicas的判断

2025-06-22 13:06:06 838

原创 【Weaviate源码】数据写入之:LSM树Flush机制:从内存到磁盘的原子转换

【Weaviate源码】数据写入之:LSM树Flush机制:从内存到磁盘的原子转换

2025-06-22 12:33:25 888

原创 【weaviate】分布式数据写入之LSM树深度解析:读写放大的权衡

【weaviate】分布式数据写入之LSM树深度解析:读写放大的权衡

2025-06-22 12:17:52 1619

原创 【Weaviate底层机制】分布式一致性深度解析:Raft算法与最终一致性的协同设计

【Weaviate底层机制】分布式一致性深度解析:Raft算法与最终一致性的协同设计

2025-06-21 23:31:36 923

原创 【分布式理论】读确认数与写确认数:分布式一致性的核心概念

【分布式理论】读确认数与写确认数:分布式一致性的核心概念

2025-06-21 22:45:36 1154 1

原创 【Go语言基础】对齐边界与内存填充

【Go语言基础】对齐边界与内存填充

2025-06-20 22:39:32 906 1

原创 【Flink实战】 Flink SQL 中处理字符串 `‘NULL‘` 并转换为 `BIGINT`

【Flink实战】 Flink SQL 中处理字符串 `'NULL'` 并转换为 `BIGINT`

2025-06-20 21:52:54 377

原创 【系统设计【4】】设计一个限流器:从理论到实践的完整解决方案

【系统设计【4】】设计一个限流器:从理论到实践的完整解决方案

2025-06-17 22:25:31 734

原创 【系统设计【3】】系统设计面试框架:从理论到实践的完整指南

【系统设计【3】】系统设计面试框架:从理论到实践的完整指南

2025-06-15 23:28:43 1005

原创 【系统设计【2】】粗略估算

【系统设计【2】】粗略估算

2025-06-15 22:17:06 685

原创 【系统设计【1】】系统设计面试方法论:从0到百万用户的需求到架构的推演

从简到繁:先实现最小可行架构,再逐步解决扩展性问题数据驱动:根据流量模型(如读多写少)选择合适的技术方案问题拆解:将复杂系统分解为可独立设计的模块权衡意识:任何设计都是Trade-off,需明确优先级演进思维:架构不是一蹴而就的,需考虑未来3-5年的扩展空间通过结构化的思考方法、清晰的表达逻辑以及对系统演进的深入理解,技术人才能够在系统设计面试中脱颖而出,展现从工程师到架构师的思维跃迁。参考:《搞定系统设计》

2025-06-11 23:13:27 1286

原创 【向量库】Weaviate 搜索与索引技术:从基础概念到性能优化

【向量库】Weaviate 搜索与索引技术:从基础概念到性能优化

2025-06-09 23:42:44 1346

原创 【向量库】Weaviate概述与架构解析

【向量库】Weaviate概述与架构解析

2025-06-09 22:53:28 1041

原创 【Go语言基础【20】】Go的包与工程

【Go语言基础【20】】Go的包与工程

2025-06-08 23:17:40 947

原创 【Go语言基础【19】】接口:灵活实现多态的核心机制

【Go语言基础【19】】接口:灵活实现多态的核心机制

2025-06-08 17:51:45 1083

原创 【Go语言基础【18】】Map基础

【Go语言基础【18】】Map基础

2025-06-08 16:51:03 1140

原创 【Go语言基础【17】】切片:一种动态数组

【Go语言基础【17】】切片:一种动态数组

2025-06-08 16:23:14 687

原创 【Go语言基础【16】】结构体:方法接受者、组合(代码复用)、内存对齐、json序列化

【Go语言基础【16】】结构体:方法接受者、组合(代码复用)、内存对齐、json序列化

2025-06-08 15:37:03 912

原创 【Go语言基础【15】】数组:固定长度的连续存储结构

【Go语言基础【15】】数组:固定长度的连续存储结构

2025-06-07 22:37:15 1156

原创 【Go语言基础【14】】defer与异常处理(panic、recover)

【Go语言基础【14】】defer与异常处理(panic、recover)

2025-06-07 22:18:06 776

原创 【Go语言基础【13】】函数、闭包、方法

【Go语言基础【13】】函数、闭包、方法

2025-06-07 21:44:33 1265

原创 【Go语言基础【12】】指针:声明、取地址、解引用

【Go语言基础【11】】指针:声明、取地址、解引用

2025-06-07 11:03:09 946

原创 【Go语言基础【11】】基本类型转换

【Go语言基础【10】】基本类型转换

2025-06-07 10:23:08 553

Lambda Architecture – Realtime Data Processing paper

Lambda Architecture 论文

2024-02-27

适用于linux的oracle 客户端包

适用于linux的oracle 客户端包

2023-08-24

flink on yarn 模式下,flink 1.12.5版本运行所需完整lib包

flink on yarn 模式下 flink 1.12.5版本 运行所需完整lib包 操作步骤:解压lib,上传jar到HDFS上,提交yarn任务时会加载这些lib包

2022-08-30

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除