Langfuse 与 ClickHouse：面向现代大语言模型（LLM）应用的新一代数据栈

本文字数：3956；估计阅读时间：10 分钟

作者：ClickHouse Team

本文在公众号【ClickHouseInc】首发

搭建一个 AI 演示应用很简单，但要让它长期稳定可用却非常不易。开放式用户输入、模型推理以及 AI 智能体（AI Agent）的工具调用，都需要一个全新的工作流，支持团队在实践中持续度量、评估并改进这些系统。

Langfuse 正在帮助开发者解决这个难题。它的开源大语言模型工程平台为团队提供完善的追踪、评估和性能优化能力，无论是调试提示词、测试模型响应，还是分析数十亿次交互，都能轻松应对。

对于那些涉及敏感或大规模数据的企业，Langfuse 的吸引力还在于它的灵活性：既可自托管，也可作为托管云服务使用。这种灵活架构帮助 Langfuse 迅速获得了大型企业的青睐，但同时也带来了新的扩展性挑战。到 2024 年中期，原本基于 Postgres 的简单架构支撑着云端和本地自托管的双模式，但随着客户需求的快速增长，它已无法承载压力。平台需要应对数十亿行数据，支撑跨多个界面的复杂查询，同时跟上客户产生的海量数据。变革迫在眉睫。

在 2025 年 3 月于旧金山举办的 ClickHouse 见面会上[https://www.youtube.com/watch?v=AnghkoucpN0]，Langfuse 联合创始人 Clemens Rawert 分享了团队如何以 ClickHouse 作为数据处理“核心”对平台进行架构重构的思路。他还介绍了如何将这一变革推广给成千上万的自托管用户，让这次重大基础设施升级转化为整个社区的共同胜利。

数据增长过快，无法承受

Langfuse 于 2023 年 3 月首次上线，架构简洁，对开发者十分友好：仅需一个运行在 Postgres 数据库之上的单一 Docker 容器。Clemens 表示：“这种简单架构让我们当时能快速启动，并且验证了用户确实需要这样的产品。”

虽然很多早期用户选择了 Langfuse Cloud，但团队意外发现，越来越多的大型企业，尤其是处于合规监管行业的公司，都选择自托管的开源版本。Clemens 解释说，平台采用 MIT 许可证，同时业界对大语言模型基础设施的兴趣日益浓厚，使得 Langfuse 成为那些需要可观测性（observability），但又无法将数据托管到外部环境的团队的理想方案。

随着需求快速增长，Langfuse 最初基于 Postgres 的数据架构遇到了可扩展性瓶颈。

而这一波采用热潮也带来了新的挑战。更多企业将 Langfuse 集成到生产环境后，数据写入量暴增。一些快速成长的客户也在持续给 Postgres 后端施加越来越大的压力。Clemens 表示：“就像许多数据密集型行业一样，我们这个行业往往会被少数极端数据驱动。”

平台的压力从各个方面同时袭来。Langfuse 要处理数十亿行数据，且具有高并发 I/O，随着大语言模型执行，追踪信息需要实时更新。这些底层数据同时会被多个可视化界面访问，包括单条追踪视图、实时图表、仪表盘以及聚合数亿次追踪的指标 API。随着使用模式日趋复杂，原有架构越来越力不从心。

Clemens 说：“我的联合创始人兼 CTO Max 快要失眠了。我们很清楚，必须做出改变。”

ClickHouse 打造新基础

到 2024 年夏天，团队迎来了一个关键的抉择时刻。Clemens 回忆说：“我们必须决定，是继续基于 Postgres 进行扩展和优化，还是直接切换到 OLAP 数据库。”

ClickHouse 很快脱颖而出，成为最理想的选择。凭借列式架构，它为 Langfuse 提供了所需的高性能和可扩展性，足以应对不断增长的工作负载。同时，来自 PostHog 和 Better Stack 的同行也极力推荐 ClickHouse。Clemens 说：“他们强烈建议我们用 ClickHouse，我们从未后悔过这个决定。”

Clemens 对 ClickHouse 这款“极具现代化的数据库”本就十分信任，而 ClickHouse Cloud 的可用性更让整个迁移过程变得简单。“我们在 ClickHouse Cloud 上的体验非常棒，”他说，“支持团队也非常给力。”考虑到 Langfuse 的全球化用户和企业规模，区域部署和托管备份带来了巨大的便利。

接下来的六个月，Langfuse 以 ClickHouse 为核心重构了整个平台。新架构采用 Redis 实现缓存，S3 存储大体量负载，并通过异步事件处理器支撑高并发写入，ClickHouse 则在整个体系中发挥中枢作用，从追踪存储到复杂分析一手包办。

基于 ClickHouse 的新架构为 Langfuse 带来了更强的性能和可扩展能力。

Clemens 回顾时说：“我们已经走过很长的路。”基于 ClickHouse 打造的坚实底座，让他们具备了可持续扩展、长期发展的架构能力。

支持自托管社区

当然，仅仅重构自身架构只是第一步。Clemens 解释说：“我们并不只是为自己服务而做这些改变。”转向 ClickHouse 同样对 Langfuse 自托管的用户群体带来深远影响。成千上万的团队在自己的生产环境中运行 Langfuse，数据库架构的变化意味着 Langfuse 必须小心推进，避免影响现有部署。

首先是沟通。团队在 2024 年 4 月于 GitHub 发起公开讨论[https://github.com/orgs/langfuse/discussions/1902]，阐明迁移计划并广泛征求意见。几个月内，讨论线程就积累了 120 多条评论，团队在其中不断更新进展、解释方案，并积极回应社区的疑问。Clemens 表示：“我们非常早、非常透明、非常频繁地分享计划以及 Langfuse 的变化。”

他们还邀请了核心用户组参与私密焦点小组，并推出早期版本供测试验证。到 2024 年 12 月正式发布时，Langfuse 提供了包含界面操作及后台脚本的迁移引导工具，帮助用户从 Postgres 平滑切换到 ClickHouse，实现零停机过渡。Clemens 说：“很多用户都非常感激。”

新版本 Langfuse v3 的采用速度也非常快，反馈积极。截至 2025 年 3 月，已经有超过一千套自托管部署在生产环境中稳定运行 ClickHouse。Clemens 补充说：“我们最大的几个用户每天都在写入数十亿行数据。他们原本以为这次迁移会非常痛苦，但最后都非常满意。”

让 ClickHouse 更易上手

在迁移到 ClickHouse 的过程中，Langfuse 团队同样重新思考了如何让新用户，尤其是自托管用户，能够快速顺利地上手。相较于 Postgres，ClickHouse 的架构会带来一些新的组件，不少团队难免对管理更复杂的数据库环境感到犹豫。Clemens 说：“当你上线一个开发者并不熟悉的数据库时，的确会有人担心。”

为了帮助用户平滑过渡，Langfuse 准备了一份针对不同场景的“选项清单”。对于小规模或概念验证（PoC）场景，他们推荐在虚拟机上通过 Docker Compose 运行 Langfuse，这种方式简单易用，适合每月追踪量少于一百万条的团队。而在生产环境中，Langfuse 提供了适配 AWS、Azure、GCP 的 Helm chart 和部署模板。

对于希望获得托管体验的团队，Langfuse 会引导他们使用 ClickHouse Cloud（Clemens 说：“真的很棒，我们自己也在用。”），或者 ClickHouse 的 Bring Your Own Cloud（BYOC）方案[https://clickhouse.com/cloud/bring-your-own-cloud]，由 ClickHouse 团队在客户自己的云环境中运维数据库。Clemens 认为，后者对希望将数据保存在自己环境中的企业尤为吸引。当然，对于偏好完全托管解决方案的客户，Langfuse Cloud 依然可选。

正是这种灵活性，让无论规模大小的企业都能更轻松地加入进来——不管是快速验证一个内部测试，还是准备在生产环境中处理数十亿行数据，都能胜任。

面向增长而生的数据栈

Langfuse 选择 ClickHouse 作为新的数据库，标志着他们在服务云端和自托管用户的方式上完成了一次关键转型。通过围绕更快速、更具可扩展性的数据库进行重构，并提供灵活的部署方式，平台能够轻松应对企业级大语言模型（Large Language Model）工作负载，同时保留最初吸引用户的易用特性。

如今，ClickHouse 已经成为 Langfuse 架构的中枢，让平台能够伴随社区一起成长。无论团队需要即插即用的云服务，还是选择自行运维，都可以依托这套架构来支撑 Langfuse 的核心能力——具备可扩展性，经过生产验证，并且随时为未来的发展做好准备。
 

征稿启示

面向社区长期正文，文章内容包括但不限于关于 ClickHouse 的技术研究、项目实践和创新做法等。建议行文风格干货输出&图文并茂。质量合格的文章将会发布在本公众号，优秀者也有机会推荐到 ClickHouse 官网。请将文章稿件的 WORD 版本发邮件至：Tracy.Wang@clickhouse.com