- 博客(76)
- 收藏
- 关注
RSS订阅原创 AI Agent 可运行Demo及基础概念解析
本文摘要： 本文介绍了一个AI Agent系统的核心架构与实现方法，主要包含以下模块：1）工具层（Tool）负责执行具体任务；2）LLM层负责思考和决策；3）Prompt层控制Agent的思考方式；4）Memory层存储对话历史；5）OutputParser层解析LLM输出。系统采用ReAct思维链模式，通过LLM调度工具执行产业链查询与分析任务，支持多轮对话和复杂推理。文中提供了完整的Python实现代码，包括工具定义、Prompt模板设计、内存管理和输出解析等关键组件。
2025-11-28 23:34:24
966
原创 Paimon Compaction原理
Paimon采用LSM Tree存储结构，通过Compaction机制合并多个Sorted Run以优化查询性能。Compaction主要分为异步、专用服务、记录级过期和全量四种方式，各自适用于不同场景。关键参数包括触发Compaction的文件大小/数量阈值（如compaction.max.file-num）、存储放大率（compaction.max-size-amplification-percent）及合并优化间隔（compaction.optimization-interval）等，需平衡写入
2025-06-30 16:27:23
1236
原创 Paimon的InternalRow 解析（一）
InternalRow 是 Paimon 对“行数据”访问的一种标准协议。它的存在不是为了功能，而是为了统一抽象提高性能解耦内部数据表示。目的解释1️⃣ 抽象统一访问用于屏蔽底层存储实现（对象数组、二进制字节、压缩格式等）2️⃣ 性能优化空间允许像 BinaryRow 这样的实现使用字节结构，零 GC，更高效3️⃣ 解耦计算逻辑与存储逻辑让计算模块（比如写入、比较、聚合）不依赖具体的行数据结构4️⃣ 兼容性更强。
2025-04-16 10:19:20
782
原创 Flink CDC 同步表至Paimon 写数据流程，write算子和commit算子。
流程图一般基本flink cdc 任务同步数据至paimon表时包含3个算子，source、write、global commit。source端一般是flink connector实现的连接源端进行获取数据的过程，本文探究的是source算子获取的到数据如何传递给writer算子？writer算子如何写数据？global commit算子做了什么事情？第一问：默认根据primary key的hash值决定往哪个桶写入，一个桶对应了一个lsm tree writer。
2024-07-14 14:20:11
1633
1
原创 一图搞定Flink Oracle CDC 同步至Paimon（持续更新）
本文以Flink 1.18、FLink CDC 3.1为环境，配置Flink CDC 同步Oracle的数据至Paimon
2024-05-19 14:52:04
1835
原创 一图入门LSM Tree
其实是回答为什么写入快，因为先通过跳跃表活着B树等顺序写入内存，内存满了在一层层往下flash。同时为了保证一定的读取性能需要进行Compaction。通过对数据存储格式的改变，使得数据在写入的时候可以顺序写，写入速度很快。LSM是一种存储结构，组织了数据在存储介质（磁盘）上的方式。本图主要解释了LSM是什么，有什么用，以及为什么？这边再进行简要总结，具体内容可以查看图片。
2024-05-11 09:02:10
363
原创 annaconda的虚拟环境和pycharm terminal执行命令所在环境不同
解决annaconda的虚拟环境和pycharm terminal执行命令所在环境不同
2023-02-27 10:16:20
948
原创 代码随想录刷题记录day46 最长递增子序列+最长连续递增序列+最长重复子数组
代码随想录刷题记录day46 最长递增子序列+最长连续递增序列+最长重复子数组
2022-12-18 23:11:53
456
原创 代码随想录刷题记录 day45 最佳买卖股票时机含冷冻期+买卖股票的最佳时机含手续费
代码随想录刷题记录 day45 最佳买卖股票时机含冷冻期+买卖股票的最佳时机含手续费
2022-12-18 16:43:46
190
原创 代码随想录刷题记录day34 动态规划理论基础+斐波那契数+爬楼梯+使用最小花费爬楼梯
代码随想录刷题记录day34 动态规划理论基础+斐波那契数+爬楼梯+使用最小花费爬楼梯
2022-12-02 22:11:57
719
原创 代码随想录刷题day30 K 次取反后最大化的数组和 + 加油站 + 分发糖果
代码随想录刷题day30 K 次取反后最大化的数组和 + 加油站 + 分发糖果
2022-11-28 21:57:07
204
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人