<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Databend的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Databend</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Databend]]></copyright><item><title><![CDATA[以云原生湖仓支撑 AI 应用落地丨Databend 亮相 2026 人工智能开放计算大会]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/168751472</link><guid>https://blog.youkuaiyun.com/Databend/article/details/168751472</guid><author>Databend</author><pubDate>Thu, 22 Oct 2026 10:58:09 +0800</pubDate><description><![CDATA[工程团队可以在同一湖仓中追踪模型调用与工具执行，分析质量、成本和延迟，并为故障排查、持续评测及后续训练准备数据，缩短从运行反馈到应用改进的路径。算力的开放与协作之外，大模型迭代和 AI 应用落地同样离不开坚实的数据基础。开发者用 SQL 即可定义持续运行的数据管道，减少额外组件与数据搬运，让新增数据更快用于分析和 AI 应用。FlagOS 作为开源 AI 系统软件平台，致力于屏蔽底层硬件差异，实现“一次编写、多芯运行”，携手芯片厂商、云服务商、高校与开发者，共建连接芯片、系统、框架和应用的开放生态。]]></description><category></category></item><item><title><![CDATA[Databend 8-9 月双月报：物化视图、数据共享与数据血缘能力升级]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/168552539</link><guid>https://blog.youkuaiyun.com/Databend/article/details/168552539</guid><author>Databend</author><pubDate>Tue, 20 Oct 2026 15:16:29 +0800</pubDate><description><![CDATA[本期新增行级 TTL 的 DDL 与元数据支持，可定义、修改和移除 TTL 表达式。该阶段能力为数据生命周期管理提供基础，尚未包含后台调度和过期行删除。配置 TTL 表达式后，数据不会自动过期删除。]]></description><category></category></item><item><title><![CDATA[周年庆结束了，湖仓为什么还在高消费？]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/168551499</link><guid>https://blog.youkuaiyun.com/Databend/article/details/168551499</guid><author>Databend</author><pubDate>Tue, 20 Oct 2026 14:54:56 +0800</pubDate><description><![CDATA[玩家流量已经回落，湖仓成本却还停在高位。本文跟随一位游戏数据工程师，看他如何用自然语言向 Databend Cloud Agent 追问，从全局成本趋势一路下钻归因到具体任务配置，15 分钟完成一次 FinOps 闭环排障。]]></description><category></category></item><item><title><![CDATA[同样 PASS，路径为何不同｜用 Jev 逐 Span 评估 Agent Trace]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/166637985</link><guid>https://blog.youkuaiyun.com/Databend/article/details/166637985</guid><author>Databend</author><pubDate>Fri, 25 Sep 2026 10:06:42 +0800</pubDate><description><![CDATA[两个 Agent 跑过同一批测试，最后生成的 patch 甚至逐字节相同。只看 PASS 率，它们几乎没有区别。展开 Trace，也就是一次任务中模型请求、工具调用和验证过程的完整记录，一个可能很快找到问题，另一个可能经历多次重复扫描和无效重试。本文介绍一套逐 span 评估 Agent Trace 的方法。Databend 保存并分析海量 Trace，普通代码处理可以直接确定的事实，Jev 判断每一步是否相关、是否带来新进展。]]></description><category></category></item><item><title><![CDATA[Jev 爆火之后，我们把它集成进了数据湖仓]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/166338033</link><guid>https://blog.youkuaiyun.com/Databend/article/details/166338033</guid><author>Databend</author><pubDate>Tue, 22 Sep 2026 09:24:49 +0800</pubDate><description><![CDATA[Jev 最近很火，它擅长的语义判断如果直接放进数据库，能否让分类、筛选这类任务留在 SQL 里完成？本文以 Databend 的 Python UDF 集成为例，走通接入和查询过程，也看看远程模型调用的性能、成本与数据边界。最近Jev 突然火起来了，稍微试了下做分类任务效果非常不错，成本也低廉。所以给 Databend 的 Python UDF 写了一个 Jev 集成，顺手把过程和想法整理成这篇文章。]]></description><category></category></item><item><title><![CDATA[Databend 原生数据血缘：追溯指标来源，检查变更影响]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/165748149</link><guid>https://blog.youkuaiyun.com/Databend/article/details/165748149</guid><author>Databend</author><pubDate>Thu, 17 Sep 2026 15:38:40 +0800</pubDate><description><![CDATA[Databend 原生 Data Lineage 自 v1.2.935 起可用，在数据库内部采集数据流动关系，支持表级和列级追踪，并提供 Databend Cloud 血缘图和 SQL 查询两种分析方式。采集到的对象和字段依赖关系可用于变更影响分析、数据问题定位、数据资产治理和敏感数据传播追踪。]]></description><category></category></item><item><title><![CDATA[只看 PASS 会骗你，6 条 Agent Trace 里的 Coding Agent 评测真相]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/164872548</link><guid>https://blog.youkuaiyun.com/Databend/article/details/164872548</guid><author>Databend</author><pubDate>Thu, 10 Sep 2026 18:31:11 +0800</pubDate><description><![CDATA[我让。]]></description><category></category></item><item><title><![CDATA[AI 时代的数据工程挑战：从复杂链路走向统一数据底座]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/164337655</link><guid>https://blog.youkuaiyun.com/Databend/article/details/164337655</guid><author>Databend</author><pubDate>Thu, 03 Sep 2026 17:48:06 +0800</pubDate><description><![CDATA[AI 系统越做越多、开发速度越来越快，为什么数据链路反而越来越长，数据工程也越来越复杂？：本文根据吴炳锡在厦门“智能体落地方法论：从技术构建到企业落地”行业技术沙龙的演讲实录整理而成。演讲结合头部模型公司、工业制造、公共数据平台、金融机构和 AI 应用企业的真实实践，讨论了 Agent Trace 与 Evals 数据的采集、加工、存储和分析难题，以及如何借助云原生湖仓简化跨云、多组件、高吞吐的数据链路。]]></description><category></category></item><item><title><![CDATA[Databend 增量物化视图：基于 Change Tracking 的增量刷新与一致性读取]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/164337004</link><guid>https://blog.youkuaiyun.com/Databend/article/details/164337004</guid><author>Databend</author><pubDate>Thu, 03 Sep 2026 17:13:53 +0800</pubDate><description><![CDATA[物化视图当前只能基于。]]></description><category></category></item><item><title><![CDATA[Cluster Key 最佳实践：列怎么选、顺序怎么排与粒度设计]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/164076233</link><guid>https://blog.youkuaiyun.com/Databend/article/details/164076233</guid><author>Databend</author><pubDate>Wed, 26 Aug 2026 11:28:37 +0800</pubDate><description><![CDATA[Cluster Key 没有固定的“最佳列顺序”。定位累计扫描成本最高的查询族↓提取长期共享且有选择性的过滤条件↓根据典型窗口选择时间粒度↓根据前导条件和写入顺序形成候选布局↓在相同物理参数下构造受控实验↓用 clustering_information 判断数据组织↓用 EXPLAIN ANALYZE 验证真实扫描↓确认长期查询收益覆盖数据重组与维护成本这套方法背后有五条原则：高频过滤列不一定具有裁剪价值；低基数和高基数都不是单独的选择标准；]]></description><category></category></item><item><title><![CDATA[从传统分区到微分区，Snowflake 与 Databend 如何减少数据扫描]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/163945934</link><guid>https://blog.youkuaiyun.com/Databend/article/details/163945934</guid><author>Databend</author><pubDate>Fri, 21 Aug 2026 15:05:44 +0800</pubDate><description><![CDATA[随着评测任务不断运行，这张表可能积累数亿甚至数十亿行数据。这种分区方式有四个典型特征：分区字段由用户选择；分区边界通常由用户预先定义；每个分区都有明确的逻辑范围；一个分区内部仍然可能包含大量文件、Row Groups 或 Blocks。引擎可以先排除 7 月和 9 月，只访问 8 月分区。这就是传统的 Partition Pruning。问题在于，Partition Pruning 通常只能把范围缩小到一个较粗的边界。进入 8 月分区后，如果缺少更细粒度的统计信息，引擎仍然可能读取大量数据。]]></description><category></category></item><item><title><![CDATA[从 Kafka 到 Databend Cloud：万亿级 Agent Trace 接入链路的工程实践]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/163715188</link><guid>https://blog.youkuaiyun.com/Databend/article/details/163715188</guid><author>Databend</author><pubDate>Thu, 13 Aug 2026 09:23:29 +0800</pubDate><description><![CDATA[本文是《从万亿级大模型到全线应用：Databend Cloud 助力头部 AI 企业构建全链路 Trace 数据管道》的技术延伸，面向正在建设 Agent Trace、日志分析、Kafka 入仓或高吞吐半结构化数据管道的数据工程师，重点拆解 Agent Trace 从 Kafka 进入 Databend Cloud 的接入链路，以及开源项目 bend-ingest-kafka 在其中的设计与实现。]]></description><category></category></item><item><title><![CDATA[从万亿级大模型到全线应用：Databend Cloud 助力头部 AI 企业构建全链路 Trace 数据管道]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/163567110</link><guid>https://blog.youkuaiyun.com/Databend/article/details/163567110</guid><author>Databend</author><pubDate>Fri, 07 Aug 2026 15:51:50 +0800</pubDate><description><![CDATA[从万亿级大模型到全线应用：Databend Cloud 助力头部 AI 企业构建全链路 Trace 数据管道]]></description><category></category></item><item><title><![CDATA[Databend 产品更新：从 Spatial Index Join 到 Eval 数据管道]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/163535576</link><guid>https://blog.youkuaiyun.com/Databend/article/details/163535576</guid><author>Databend</author><pubDate>Thu, 06 Aug 2026 15:03:33 +0800</pubDate><description><![CDATA[回看 6–7 月，Databend 一边继续收敛生产环境中的正确性与稳定性问题，一边扩展优化器、空间分析和开放湖仓能力。优化器开始用 KLL Histogram、Count-Min Sketch 和 Top-N 更准确地理解数据；空间索引从扫描剪枝进入 Join；Paimon 通过社区贡献接入 Databend；Stage、Stream 和 Task 则逐渐组合成更完整的数据管道能力。这些改进也让 Databend 更适合 Agent Trace 场景。]]></description><category></category></item><item><title><![CDATA[从全表排序到概率统计：Databend 如何用 KLL、Top-N 与 CMS 改进基数估计]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/163292307</link><guid>https://blog.youkuaiyun.com/Databend/article/details/163292307</guid><author>Databend</author><pubDate>Wed, 29 Jul 2026 10:49:57 +0800</pubDate><description><![CDATA[KLL以一次扫描和可合并 Sketch 近似分位点，降低等深直方图构建的排序与内存开销。Top-N精确记录最常见值，修正直方图对突出热点的估计。CMS用固定空间覆盖更宽的热点集合，弥补 Top-N 容量有限的问题。kll_fast适合快速、低内存地生成范围统计，但单独用于等值估计时误差较大；kll_full提高了桶级精度，却不一定缩短执行时间；CMS 则能以有限的额外开销显著改善宽热点数据的等值估计。对 Databend 这样的云原生分析数据库而言，优化器统计不是一个孤立的内核功能。更低的。]]></description><category></category></item><item><title><![CDATA[用 QUALIFY 写出更清晰的窗口函数 SQL]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/163097523</link><guid>https://blog.youkuaiyun.com/Databend/article/details/163097523</guid><author>Databend</author><pubDate>Wed, 22 Jul 2026 09:53:49 +0800</pubDate><description><![CDATA[QUALIFY是否让 SQL 更清楚，很多时候不取决于能不能少写一层子查询，而取决于这条查询是不是天然就在表达：先计算窗口值，再按窗口值筛选。当查询的核心语义是每组取最新一条、保留 Top N、去重、排名过滤或状态提取时，QUALIFY往往能让 SQL 更平、更直接、更容易 review。但它也不应该变成所有复杂逻辑的容器。保持WHEREHAVINGQUALIFY各自语义清晰，才是让复杂 SQL 长期可维护的关键。]]></description><category></category></item><item><title><![CDATA[AST Visitor API 迁移，怎么证明 AI 没改坏 SQL 语义？]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/162894676</link><guid>https://blog.youkuaiyun.com/Databend/article/details/162894676</guid><author>Databend</author><pubDate>Wed, 15 Jul 2026 10:10:46 +0800</pubDate><description><![CDATA[旧 visitor API 换成新 API，真正困难的从来不是批量写出代码，而是建立足够可信的迁移证据。这套方法也不是一开始就以最终形态出现的。源码扫描、运行时观测、独立比较和失败定位。在此之上，真实 SQL 语料扩大了输入范围，覆盖率反馈又让尚未验证的范围保持可见，最终形成完整闭环。AI 可以加速迁移代码的生产，但它不负责为自己的输出提供可信度。真正让这种大规模基础设施迁移变得可控的，是独立观测、集中判断、真实输入、可诊断差异以及持续可见的覆盖边界。]]></description><category></category></item><item><title><![CDATA[从 S3 到 Databend Cloud：Airflow 数据入仓编排实践]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/162754781</link><guid>https://blog.youkuaiyun.com/Databend/article/details/162754781</guid><author>Databend</author><pubDate>Fri, 10 Jul 2026 10:48:26 +0800</pubDate><description><![CDATA[Apache Airflow 是一个用 Python 定义、调度和监控工作流的开源编排平台，最早由 Airbnb 开源，现为 Apache 顶级项目，也是数据工程领域广泛采用的事实标准。DAG（有向无环图）：一个工作流就是一张 DAG，用来描述有哪些任务，以及任务之间的依赖关系。Task（任务）：DAG 里的一个节点，是实际执行工作的最小单元。Operator（算子）：任务模板。比如执行 Python 函数的，以及把本地文件上传到 S3 的。Scheduler（调度器）]]></description><category></category></item><item><title><![CDATA[小 Bitmap，大优化：Databend 如何加速大规模集合聚合]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/162718057</link><guid>https://blog.youkuaiyun.com/Databend/article/details/162718057</guid><author>Databend</author><pubDate>Thu, 09 Jul 2026 09:31:23 +0800</pubDate><description><![CDATA[小集合轻量处理，大集合按需切换，降低 Bitmap 聚合开销。]]></description><category></category></item><item><title><![CDATA[2KB histogram 背后：Databend 如何低成本追踪长尾延迟]]></title><link>https://blog.youkuaiyun.com/Databend/article/details/162555460</link><guid>https://blog.youkuaiyun.com/Databend/article/details/162555460</guid><author>Databend</author><pubDate>Fri, 03 Jul 2026 16:28:46 +0800</pubDate><description><![CDATA[导读：本文介绍 Databend / OpenRaft 中一个轻量级 histogram 实现：仅用约 2KB 内存，即可支持 O(1) 延迟记录，并在 P50 / P95 / P99 等 percentile 估算中，将典型 latency 场景误差控制在 0.2% 以内。文章亮点是从数据库内核的真实约束出发，讲清楚如何在低内存、低开销和高精度之间取得平衡，适合数据库内核工程师、后端性能优化工程师、SRE、可观测性系统开发者阅读。阅读时间约 8 分钟。]]></description><category></category></item></channel></rss>