- 博客(628)
- 收藏
- 关注
RSS订阅
原创 【Flink metric（1）】Flink指标系统的系统性知识：获取metric以及注册自己的metric
【Flink metric】Flink指标系统的系统性知识：以便我们实现特性化数据的指标监控与分析
2024-06-23 22:39:31
2233
1
原创 【源码分析】一个flink job的sql到底是如何执行的（一）：flink sql底层是如何调用connector实现物理执行计划的
【源码分析】一个flink job的sql到底是如何执行的（一）：flink sql底层是如何调用connector实现物理执行计划的
2024-01-11 23:12:46
1946
原创 【源码解析】flink sql执行源码概述：flink sql执行过程中有哪些阶段，这些阶段的源码大概位置在哪里
本文大致分析了flink sql执行过程中的各个阶段的源码逻辑，这样可以在flink sql执行过程中， 能够定位到任务执行的某个阶段的代码大概分布在哪里，为更针对性的分析此阶段的细节逻辑打下基础，比如create 的逻辑是怎么执行的，select的逻辑是怎么生成的，优化逻辑都做了哪些，而这些是接下来的文章要分析的。
2023-12-13 23:20:18
2554
1
原创 【性能调优】【离线任务】flink处理离线任务（8000个小文件？200多亿数据量？）稳定性与性能调优探索
【性能调优】【离线任务】flink处理离线任务（8000个小文件？200多亿数据量？）稳定性与性能调优
2023-01-09 23:43:41
2261
原创 【性能|优化】TB级flink任务报错分析：Could not compute the container Resource
【性能|优化】TB级flink任务报错分析：Could not compute the container Resource
2022-11-29 00:29:17
2174
2
原创 【修改源码】hadoop 3.3.1 failed with status code 401 Response message: Authentication required
本文主要通过修改源码解决hadoop内部通讯鉴权的问题。
2022-09-19 16:00:07
1827
4
原创 【运维/安装】Flink + MinIO：实现light-weighting思路下的集群(集群、高可用&&POC、快速搭建)
本文通过使用flink+MinIO安装实现flink standalone的集群模式，实现“轻量化集群”flink集群本身作为计算资源，去执行flink jobMinio 用于存储Flink job产生checkpoint和savepoint、以及存储flink HA的一些信息，也就是作为分布式存储系统。
2022-09-14 21:23:55
6403
19
原创 【分析思路】hadoop 3.3.1 bug修复：failed with status code 401 Response message: Authentication required
为了支持国产化，hadoop需要安装3.3.1版本，而客户这边需要安全认证，所以对于hadoop需要做的事是升级到3.3.1版本、支持HA模式、安全认证。本文关注hadoop升级过程、启动中出现的401权限问题。
2022-09-05 21:37:18
1569
原创 【】模式识别与机器学习基础概念
关键词：时空特征组合、向量表示、模式类、信息表征模式是模式识别领域的基础概念。广义地说，模式是指区别事物的时空特征组合，存在于时间和空间中可观察的物体，只要我们能够区别它们是否相同或相似，都可以称之为模式。从信息的角度来看，模式不是事物本身，而是从事物获得的信息。这种信息往往具有时间和空间的分布特性，比如个人的照片所包含的像素信息，歌曲旋律所体现的音阶变化，以及动物步态所反映的运动特征。这些信息通过特定的方式组织起来，形成了我们能够识别和区分的模式。在数学上，模式一般用向量来表示。
2025-11-30 11:11:06
722
原创 【模式识别与机器学习】AdaBoost算法：集成学习的基本原理与AdaBoost算法的应用
【模式识别与机器学习】AdaBoost算法：集成学习的基本原理与AdaBoost算法的应用
2025-11-30 09:19:31
710
原创 【AI Engineering】什么是Agent？如何构建和评估AI Agent？
【AI Engineering】什么是Agent？如何构建和评估AI Agent？
2025-11-29 11:05:58
440
原创 【NL2sql论文】SQL-R1论文深度分析：用强化学习训练NL2SQL：SQL-R1如何用5K数据达到SOTA性能
用强化学习训练NL2SQL：SQL-R1如何用5K数据达到SOTA性能
2025-11-25 23:48:17
949
原创 【Docker】StarRocks 容器优雅停机与 PID 文件管理解决方案
【Docker】StarRocks 容器优雅停机与 PID 文件管理解决方案
2025-11-25 19:39:47
790
原创 【Docker】Docker Stop 后到底发生了什么？——从信号机制到优雅停机
【Docker】Docker Stop 后到底发生了什么？——从信号机制到优雅停机
2025-11-25 16:48:30
747
原创 【强化学习基础（3）】主动强化学习：不仅要评估还要决策，探索与利用的平衡
【强化学习基础（3）】主动强化学习：不仅要评估还要决策，探索与利用的平衡
2025-11-25 13:06:31
1012
原创 【强化学习基础（2）】被动强化学习：学习价值函数
被动强化学习（Passive Reinforcement Learning）是指智能体有一个固定的策略π(s)，它按照这个策略行动，学习状态的价值函数U(s)。价值函数表示"从状态s开始，按照策略π，期望能获得多少累积奖励"。在被动学习中，智能体不知道环境的转移模型P(s’|s, a)和奖励函数R(s, a, s’)。它只能通过观察来学习：执行动作，观察结果状态和奖励，然后更新对状态价值的估计。这就像你按照既定路线开车，不知道路况如何，只能通过实际开车来观察"这条路好不好走"。
2025-11-25 12:57:34
512
原创 【AI Engineering】提示工程最佳实践——从基础到高级的完整指南
【AI Engineering】提示工程最佳实践——从基础到高级的完整指南
2025-11-23 15:37:37
50
原创 【AI Engineering 】什么是幻觉？如何检测和缓解？——AI幻觉问题全面解析
定义：幻觉是指AI模型生成与输入不一致、与事实不符，或完全虚构的内容。事实性幻觉（生成错误的事实信息，如模型说"爱因斯坦在1920年获得诺贝尔奖"实际是1921年，严重性高，可能误导用户）、上下文幻觉（生成与输入上下文不一致的内容，如用户问"我的订单状态"，模型回答"您的订单已发货"但实际未发货，严重性高，直接业务影响）、引用幻觉（生成虚假的引用或来源，如模型说"根据2023年《Nature》论文…"但该论文不存在，严重性中高，损害可信度）、
2025-11-23 11:59:26
90
原创 【架构案例】网购秒杀系统架构设计案例分析：通过独立系统、静态化、流量控制实现流量隔离的架构
【架构案例】网购秒杀系统架构设计案例分析：通过独立系统、静态化、流量控制实现流量隔离的架构
2025-11-23 11:13:42
446
原创 【AI Engineering】如何评估AI应用？——全面评估框架与实践指南
【AI Engineering】如何评估AI应用？——全面评估框架与实践指南
2025-11-21 23:24:41
256
原创 【AI Engineering】Should I build this AI application?—AI应用决策框架与实践指南
【AI Engineering】我应该构建这个AI应用吗？——AI应用决策框架与实践指南
2025-11-20 23:03:35
204
原创 《AI Engineering: Building Applications with Foundation Models》书籍总结
《AI Engineering: Building Applications with Foundation Models》书籍总结
2025-11-19 00:39:38
1019
原创 【架构】【AI Engineering: Building Applications with Foundation Models】AI工程化：从基础模型到生产级部署的讨论
【架构】【AI Engineering: Building Applications with Foundation Models】AI工程化：从基础模型到生产级部署的讨论
2025-11-18 23:58:04
699
原创 软件架构师技术一览与具体工作思考
比较稀缺的还是对于业务架构的把握，这里的把握不仅仅是架构，还有关键需求，以及各个细节业务的把握，而这个就需要多看多练，并没有什么捷径可走。具体来说，比如数据场景下的Agent工程，关键需求有哪些、整体的工程架构如何设计、非功能需求的把握：性能、安全、可拓展、部署相关（不同客户场景如何部署，选择什么理念（devops等））在数据Agent中，混合DDD和BDD方法，将查询场景拆解为技术需求；：熟悉数据采集、存储、处理、分析全流程，掌握Hadoop、Spark、Flink等技术，设计数据驱动的架构。
2025-11-16 19:17:03
742
原创 【软件架构设计方法论（13）】分层架构设计：从上下文图到架构落地
识别业务痛点→识别外部实体→设计封装层→验证合理性→长期适配策略”。公式拆解识别业务痛点：系统需要与哪些外部实体交互？外部系统接口可能变化吗？需要支持多人协作开发吗？这些业务痛点决定了是否需要分层架构。识别外部实体：通过上下文图识别系统需要与哪些外部实体交互（外部用户、持久化存储、外部系统/硬件、时限触发）。这就像盖房子，先确定需要哪些房间（需求），再设计房间布局（架构）。设计封装层。
2025-11-16 11:44:26
750
原创 【软件架构设计方法论（12）】模块划分的4步骤方法：EDD方法与实践
研究需求→分层→划分模块→评审优化”。公式拆解研究需求：通过研究上下文图和功能树，识别系统的外部实体和功能需求，为后续的分层和模块划分提供依据。这就像盖房子，先确定要盖什么样的房子（需求），再设计房子结构（架构）。分层：通过粗粒度分层（如UI层、业务层、数据层），实现技术关注点分离。这解决了业务痛点"需要清晰的职责划分"。划分模块：在分层的基础上，进行细粒度模块划分，通过分层细化、分区、通用模块分离、通用机制框架化等方法，实现细粒度模块划分。这解决了业务痛点"需要支持深度优先开发"。评审优化。
2025-11-16 11:42:27
805
原创 【软件架构设计方法论（11）】细化架构设计：5视图方法从概念到落地的实战指南
逻辑架构（做什么）→ 开发架构（怎么写）→ 运行架构（怎么跑）→ 物理架构（放哪里）→ 数据架构（存哪里）”。公式拆解逻辑架构（做什么）：从功能需求中识别模块，从模块协作中定义接口，从业务需求中识别关键类。这就像盖房子，先确定"有哪些房间"（模块划分），再确定"房间之间如何连接"（接口定义），最后确定"房间里的家具"（领域模型）。开发架构（怎么写）：根据关键需求选择技术，根据模块划分组织代码，根据模块协作定义编译依赖。
2025-11-16 11:39:15
689
原创 【软件架构设计方法论（9）】关键需求：如何从海量需求中找出决定架构的那20%
识别关键质量→识别关键功能→转化关键约束→综合决策架构选型”。公式拆解识别关键质量：列出所有质量需求，识别相互制约的关系，确定主要目标和次要目标。这就像买车，先确定主要目标（省油还是动力强），再确定次要目标（舒适性、安全性）。识别关键功能：通过4条启发规则（核心功能、必做功能、高风险功能、独特功能），从海量功能需求中识别出20-30%的关键功能。这就像盖房子，先确定核心房间（客厅、卧室、厨房），其他房间可以后期补充。转化关键约束。
2025-11-16 11:36:25
1273
flink on yarn 模式下，flink 1.12.5版本运行所需完整lib包
2022-08-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人