- 博客(87)
- 收藏
- 关注
原创 AI时代,知识与本体的演进与思考:从数据工程到知识工程
本文基于云器科技CTO关涛在2026DACon的演讲,探讨从数据到知识的工程化转型。指出知识不仅是信息组织,更需通过获取、加工、表达与持续更新形成闭环体系。结合五类建模路线(如Palantir全面建模、SemanticView、Ossie开放交换、GenieOntology混合架构、AgentMemory自由文本),强调知识表达应适配场景,无“唯一正确”形态。提出知识蒸馏是熵减过程,需通过反向从报表与交互Trace中提取语义,并依托“开发用Agent、生产用Pipeline”“复用数据工程架构”“评估驱动更
2026-11-05 11:09:16
30
原创 让 AI Agent 真正理解业务:云器 Semantic View 如何提供统一语义与可信数据上下文
Agent 能读到的表,未必都适合用于正式分析。可以选择一个已有标准报表的分析主题,将口径和关系建成 Semantic View,让 Agent 按“发现指标、确认歧义、查询模型”的流程回答同一组问题,再与报表核对。当财务和运营问的是同一个指标,并使用相同的数据范围、时间条件和权限时,无论从报表还是 Agent 入口查询,都应沿用相同的计算定义。对数据总监和数据工程负责人来说,接入 Agent 前可以先检查:高频指标的口径是否已经确认,访问权限是否收敛到必要范围,业务逻辑是否有可审查、可维护的定义。
2026-10-30 10:49:37
20
原创 从建模、SQL、调度,到问数与运维,一场讲清企业数仓的Agent化实践
AI并未取代传统数仓开发,而是重塑其流程。通过统一Lakehouse架构,数据工程Agent、CZ-CLI与数据分析Agent协同作业,实现从需求理解、建模开发、质量治理到自然语言问数的端到端自动化。AI辅助生成SQL、配置调度、识别数据问题,沉淀业务规则为可复用资产;CZ-CLI统一管理数据质量与语义层建设,支持持续回归与评测。人仍主导逻辑判断与决策,形成“AI提效、人工把关”的闭环,推动数仓向智能化、可持续治理演进。
2026-10-08 10:48:10
323
原创 SQL 没报错,答案却错了:Data Agent 从 Demo 走向生产,必须跨过“静默故障”
本文基于云器科技七良分享,指出Data Agent从Demo到生产落地的核心挑战在于“静默故障”——即SQL正确、结果看似合理,但数据关联、口径或源选择已偏离业务事实。这类错误难察觉、易传播,严重损害信任。作者强调,生产可用性不仅依赖模型能力,更取决于数据与语义的可靠性。提出“事前签字”与“断言契约”双机制:前者确保语义明确,后者通过可验证断言实现“响亮地失败”,让系统在不可靠时拒绝回答,而非盲目输出。最终,模型决定下限,数据与语义决定上限,真正的生产化是让Agent能清晰说明“如何失败”。
2026-09-18 11:55:55
262
原创 从T+1到5分钟:Synagie如何用云器Lakehouse重构零售数据分析平台
Synagie把多套分析系统收敛到统一的数据平台后,离线计算、在线分析、数据开发和BI交付使用同一套数据与计算底座。数据链路缩短,平台运维和资源管理也随之简化。完成数据底座统一后,Synagie计划在同一平台上继续探索Data + AI场景。下一步方向是DataGPT对话式分析:业务用户用自然语言提出问题,系统生成查询、图表和分析结果,让自助分析从“会使用BI工具”变成“能够提出业务问题”。对话式分析要进入业务,模型需要访问及时、一致且经过治理的数据。
2026-09-11 16:27:34
326
原创 从 Tool Calling 到 Data Agent:企业数据智能体的生产化路径
第三阶段不再从“模型还能调用什么工具”出发,而是从线上真实行为中寻找高频、完整的用户故事。分享提到,团队对上线后沉淀的上万条用户数据进行分类,最终聚焦三个场景:数据 ETL 开发、任务诊断和数据质量(DQC)。这三个场景背后都有完整的用户故事,也是后续场景化迭代的重点。图 2:Data Agent 的三阶段演进路线业务说“帮我看华东区上月复购率趋势”,表面上像一个 text-to-SQL 问题,实际上至少包含五步:先确认复购率定义和分析维度,再决定临时查询还是建设可复用模型;
2026-09-11 15:47:55
276
原创 云器科技担任 CCSA TC601 WG15 副组长单位,参与推进 AI 时代语义基础设施标准化
本体通过明确概念、关系、属性和规则,让知识能够被组织、验证和推理。在 Lakehouse 中,通过 AI ETL、可观测与知识工程,形成从数据加工、反馈评估到知识沉淀的持续闭环,并依托云器在互联网、汽车、金融等行业的实践,推进相关能力在真实业务场景中的应用。作为副组长单位,云器科技将参与标准研制、产业研究、案例共建与生态交流,把企业级实践经验持续带入行业协作,推动本体与知识管理从概念研究走向更广泛的产业验证和规模化应用。,正在从知识工程中的专业方法,走向连接数据、知识与智能应用的重要语义基础,
2026-09-02 15:25:08
176
原创 Parquet 已死?AI 时代列式巨人的进化与反击
吴刚,Apache Parquet/Arrow/ORC PMC member,Apache Iceberg Committer,iceberg-cpp 项目发起人和核心维护者邹泽桦,Apache Arrow Committer,Parquet/Iceberg 等项目的活跃贡献者本文整理自 Community Over Code 大会上的主题分享《Is Parquet Dead?这个问题并非空穴来风。Parquet 诞生于十多年前。它成长于 HDD、Hadoop 和长时间批处理查询占据主流的时代;
2026-08-27 10:49:30
344
原创 连续三年入选、两度双料:云器科技再获 Gartner ®中国数据、分析与 AI 技术成熟度曲线认可
按 Gartner 的观点:“到2027年,在中国,那些将“AI就绪”数据优先于生成式AI(GenAI)模型开发的组织,其获得的业务价值将至少是同行的两倍,比例将达到80%;过去它们只能躺在硬盘里,如今谁能把它们也变成可分析、可调用的资产,谁就握住了新的增量。在Gartner的报告里,云器科技(Yunqi)凭借数据基础设施Lakehouse出现在今年的曲线中,云器同时入选了两个和数据底座最相关的领域——数据是企业在 AI 时代的杠杆:模型再强,如果喂进去的是残缺、割裂、对不齐的数据,产出也会跟着打折;
2026-08-26 14:21:05
420
原创 企业选择哪朵云,云器就在哪里:云器Lakehouse全球多云版图完成
云器Lakehouse完成全球8大云平台适配,覆盖阿里云、腾讯云、火山引擎、华为云、百度智能云及AWS、Google Cloud、Azure,实现国内外业务无缝部署。产品同时兼容Intel、AMD、ARM架构,支持企业按需选择基础设施。其"增量计算"技术和统一架构突破云平台限制,让数据平台随业务全球化扩展。这一里程碑标志着云器科技真正实现"企业选哪朵云,我们就在哪里"的多云战略,为企业提供灵活开放的AI时代数据底座。
2026-08-14 15:27:50
225
原创 从自建到全托管:茶理宜世基于云器 Lakehouse 打造新一代一站式数据平台
摘要:茶饮品牌茶理宜世通过引入云器Lakehouse大数据平台,实现了数据架构的全面升级。该方案解决了原有自建StarRocks平台存在的运维负担重、数据源分散等痛点,提供一站式数据接入、存储、计算和分析能力。实施后维护成本降低60%,BI查询性能提升20-30%,ETL任务效率提升2倍,并实现按需弹性扩展。新架构支持多种数据源实时集成,统一了企业级数据仓库模型,显著提升了开发效率和数据分析能力。未来计划拓展实时分析、AI应用等更多数据场景,进一步挖掘数据价值。
2026-08-07 11:22:57
307
原创 云器科技成为Synagie Geene 2.0创始生态伙伴,牵手香港上市AI生态圈
【摘要】云器科技作为创始伙伴加入Synagie Geene2.0 AI商务生态平台,该SaaS平台由12家企业联合开发,将于8月8日商用。云器专注于数据层解决方案,通过自研的通用增量计算技术和湖仓一体架构,实现BI报表自动生成、财务流程自动化等核心功能,使企业运营效率提升90%。其特色在于确保数据主权(分析过程不迁移原始数据)和多云适配能力,已服务电商、物流等多个领域客户。该生态采用分工模式,云器与其他伙伴分别承担数据分析、AI模型等专业环节,共同构建可信AI商务闭环。
2026-08-05 11:19:20
226
原创 实时与离线数据总差 5%,业务团队被逼回 T+1——两套逻辑的锅谁来背?
摘要:云器科技提出的通用增量计算(GIC)架构解决了传统Lambda架构在千亿级数据规模下的时效性、成本与一致性难题。该方案通过动态数据追踪、标准SQL统一开发、主动增量计算等技术创新,实现了一套引擎同时满足批流需求。快手与小红书的生产实践表明,GIC能将核心业务时效从T+1提升至分钟级,资源成本降低60%以上,数据一致性差异控制在1%以内,同时简化了技术栈和维护复杂度。该架构特别适用于A/B实验、流量日志等对实时性要求高的场景,通过智能化迁移工具和分阶段实施策略,企业可平稳完成架构升级。
2026-07-31 15:35:42
343
原创 存算分离,一湖多用:长城汽车 Lakehouse 架构降本40%实践
长城汽车车联网数据平台升级案例:基于云器Lakehouse实现存算分离与统一分析 摘要: 长城汽车面对每日百亿级车联网数据增长,原有HBase+InfluxDB双系统架构暴露出三大痛点:存算强耦合导致资源浪费、多系统割裂影响分析效率、运维复杂度高。通过引入云器Lakehouse解决方案,实现了三方面突破:1)存算分离架构使计算资源可独立弹性伸缩,存储成本降低75%;2)统一湖仓引擎支持跨系统的实时联合查询,单车明细查询响应达100ms级;3)全托管服务将运维复杂度降为零。实际成效包括:整体TCO下降超40%
2026-07-22 14:30:15
540
原创 值班实录:AI 把 SQL 全写了,但 17.4% 算不算问题,还得我说
《AI如何重塑数据仓库运维流程》摘要: 本文以数据仓库运维日常为切入点,通过实际案例展示了AI工具如何改变传统巡检模式。作者描述了一次由AI完成的完整巡检:自动分析任务健康度(99.66%成功率仍标记异常)、智能纠错(猜错字段后自主修正)、发现数据质量问题(17.4%空值率),并生成结构化报告。AI展现了双重特性:在技术执行层大胆自主(如自动编写SQL),在业务判断层保持克制(对需领域知识的问题留白)。这种能力边界划分使巡检效率提升10倍,将人力从机械操作解放至决策分析。文章揭示了一个趋势:运维文档正成为A
2026-07-16 18:17:21
346
原创 开源“增量Skill”:一句话让AI搞定增量数据开发,任意AI Agent生产级可用
目前,incremental-skills已在GitHub正式开源(clickzetta/incremental-skills),遵循。
2026-07-08 11:21:08
375
原创 云器科技亮相AWS亚太双城峰会,以 AI+Data 基础设施加速企业智能化落地
云器科技近日相继亮相2026年AWS香港峰会与上海中国峰会,展示其AI+Data产品云器Lakehouse。核心技术"通用增量计算"可提升ETL效率最高100倍;湖仓加速方案实现零迁移、降本超50%;Agent矩阵与MCP Server让Lakehouse成为AI事实层。双城联动深化AWS生态合作,共同服务企业数据智能化升级。
2026-06-26 15:09:23
336
原创 一个动作,两个产物:用 DataAgent 把“提指标需求”变成企业语义层的治理源头
【摘要】DataAgent通过将指标需求文档与SemanticView智能绑定,解决企业指标管理中的核心痛点:口径不一致、维护成本高、变更难追溯等。传统指标平台存在录入不全、消费端重算、血缘滞后等问题,而DataAgent在需求提出阶段即生成标准化文档和对应的SemanticView,实现"改一处全局生效"。实践案例显示,从指标定义、口径变更到血缘反查,DataAgent通过五步流程确保语义层统一,使分析师、开发者和业务人员无需手动对齐,大幅降低治理成本。其核心价值在于将治理前移至源头,
2026-06-24 17:41:18
356
原创 Apache Iceberg C++ 0.3.0 版本的发布
Apache Iceberg C++ 0.3.0版本正式发布,该版本由23位贡献者共同完成,云器科技贡献了43%的代码,Snowflake、Databricks等企业也参与了开发。新版本支持增量扫描、读时合并数据访问、REST Catalog增强等功能,并增加了对Puffin格式和Iceberg v3规范的支持。社区正积极开发0.4.0版本,云器科技的Lakehouse内测功能已基于该库构建,验证了其高性能和稳定性。欢迎开发者通过GitHub或邮件列表参与贡献。
2026-06-24 17:38:46
268
原创 告别全量扫描:一个技能包让 AI 掌握增量计算
摘要:本文探讨了批处理ETL中全量重算的低效问题,并提出了增量计算解决方案。文章指出,传统批处理在处理TB级数据时存在巨大资源浪费,而流计算则面临重构门槛高的问题。增量计算通过Snapshot和Delta两个核心模型(利用__weight标识增删改),能在保持SQL语义的同时显著提升效率。文中以电商实时看板和商品最低价监控为例,展示了可撤回聚合与不可撤回聚合的不同处理策略,并分析了AI实现增量计算时常见的细节陷阱。最后介绍了开源的IncrementalSkills技能包,帮助开发者和AI正确实现增量计算逻辑
2026-06-16 15:33:35
338
原创 Text2SQL已经不新鲜,让AI真正会搭数仓才是关键
云器科技推出cz-cli命令行工具,让AI深度参与数据工程全流程。该工具不仅支持Cursor等外部AI工具操作Lakehouse,还内置数据开发Agent,通过自然语言指令即可完成数仓搭建、ETL任务配置等复杂工作。cz-cli将增量计算、调度依赖等工程规范封装为AI可理解的专业能力,使AI从代码补全升级为懂数仓的工程搭档。它能标准化执行细节、减少返工,同时通过结构化输出和操作边界保障安全性,帮助团队高效完成从数据开发到运维的全生命周期管理。
2026-06-16 15:21:57
290
原创 云器科技正式发布 Data Engineering Agent:以 Agentic AIOps 重新定义数据开发方式
云器科技发布DataEngineeringAgent,以AI Agent重构数据工作流。该产品通过自然语言交互覆盖数据开发全周期,实现三大突破:1)效率提升-将数据获取时间从数天压缩至30秒;2)降低门槛-非技术人员可直接创建分析流程;3)智能运维-自动诊断故障并提供修复方案。核心场景包括智能数据探查、需求到模型的自动化生成、任务故障快速定位等。产品深度集成平台能力,面向企业全员提供数据智能协作体系,现已集成至云器Studio平台开放使用。
2026-06-16 11:56:31
229
原创 让 AI 真正懂数仓:cz-cli 如何把注意力还给数据工
云器科技推出专为数据工程师设计的AI工具cz-cli,通过37个精准skill将数据开发从繁琐配置中解放。该工具采用子agent架构,聚焦数仓场景,支持自动血缘分析、增量计算改造等复杂任务,并内置多层验证机制确保准确性。实测显示,cz-cli不仅能提升工程师效率,还能赋能业务人员自主取数,实现从"接需求"到"建能力"的转变。团队建议核心表补充语义标注以优化识别精度,并强调生产环境需通过只读权限和临时链路等工程手段控制AI风险。(149字)
2026-06-15 16:01:13
363
原创 云器技术问答 Vol.2:揭秘通用增量计算
云器技术问答Vol.2聚焦通用增量计算(GIC)技术,这是一种统一批处理、流处理和交互分析的新型计算模式。GIC通过仅计算变化数据(Δ)并与历史结果合并,实现高效更新,具有标准SQL、高性能、开放格式和灵活调节(SPOT标准)特点。相比Flink,GIC资源消耗降低3-10倍,支持声明式SQL开发,无需处理流计算特有概念。用户只需将传统全量作业改为动态表定义,即可实现增量计算,简化架构并提升效率。GIC还能智能处理数据回撤和延迟,支持时间周期和依赖触发两种调度策略,但需注意不确定性函数的使用限制。
2026-06-15 11:33:37
358
原创 美团 BI 在指标平台和分析引擎上的探索和实践
美团新一代BI架构以指标平台为核心,通过自动语义和增强计算两大能力解决传统BI平台的数据口径混乱、查询性能差等问题。自动语义实现"定义即研发",将业务语言转化为结构化逻辑表达,支持复杂指标扩展;增强计算通过智能查询服务和智能物化技术,平衡运营监控与灵活分析的性能需求。平台已支持美团百余业务线,日查询量百万级,成功率超99.9%。未来将持续优化自动语义和增强计算能力,并探索智能化数据分析应用。
2026-06-12 11:00:56
376
原创 智能网联汽车数据平台白皮书解读:从“有量无价“到数据价值挖掘
研发部门有研发数据,制造环节有制造数据,销售系统有销售数据,售后服务有售后数据,但这些数据彼此孤立,缺少统一的语义和血缘关系。规模极大(单车日产1-2TB,总量EB级,还在以10-100倍速度增长)、形态极多(传感器、视频、雷达、CAN总线等多模态数据)、时效极严格(毫秒级端到端响应需求),再加上价值密度低(海量数据中仅少量有效,需要AI提纯),这四个特性交织在一起,构成了前所未有的技术挑战。更糟糕的是,由于存储和计算资源捉襟见肘,企业陷入"存不起、不敢算"的困境,数据虽然产生了,但却无法充分利用。
2026-06-12 11:00:41
341
原创 破解千亿数据处理痛点:快手基于增量计算解决时效、成本、运维三大难
1.查询复杂度:查询的计算时间很大程度取决于执行了多少种复杂的计算,算子的组合复杂度(Join,agg,window等)是一个重要的衡量指标,例如在计算Outer Join的时候,增量数据需要与大量的历史数据进行连接,并且在右表更新时,需要回撤之前补NULL的部分计算结果,会导致链路产生大量的更新操作。快手是国内领先的短视频平台,每天产生海量数据,日均处理数据量达千亿级,快手数据平台部大数据计算引擎团队采用离线计算技术支撑起了每天各种业务数据的计算,涉及数据量EB级别,计算资源达数百万核。
2026-06-12 10:57:49
188
原创 螳螂科技:从组装到统一,如何用云器 Lakehouse 完美替代“MC+DW+ADB”三件套?
螳螂科技借助腾讯云迁移契机,采用云器Lakehouse替代阿里云MaxCompute+DataWorks+ADB三件套架构,实现CRM报表系统全面升级。新架构通过一体化湖仓设计,将数据延迟从天级降至10秒级,P99查询响应控制在1秒内,成本降低30%,运维负担减少30%。关键突破在于:1)去除ADB冗余层,报表系统直接通过MySQL协议访问湖仓;2)支持数万源表实时写入;3)全链路内网保障数据安全。该实践为多云迁移和复杂数据架构简化提供了成功范例。
2026-06-12 10:56:52
439
原创 云器科技即将亮相 Iceberg Summit 2026!
云器科技将亮相IcebergSummit2026(4月8日),其Lakehouse专家吴刚将发表《Apache Iceberg-cpp架构与路线图》主题演讲,分享原生高性能技术实践。Apache Iceberg作为数据湖领域主流开放表格式,支持ACID事务等企业级特性,是构建Open Lakehouse的关键技术。本次峰会汇聚全球数据工程师,探讨Iceberg生态最新进展。云器科技致力于推动数据平台创新,诚邀业界交流。报名链接:icebergsummit.org #数据湖 #开源技术
2026-06-09 16:52:32
277
转载 美团 BI 在指标平台和分析引擎上的探索和实践
美团构建了以指标平台为核心的新一代BI架构,通过自动语义和增强计算两大核心能力,解决了传统BI平台的数据口径混乱、查询性能差等问题。自动语义实现"定义即研发",将业务语言转化为结构化逻辑表达,自动关联数仓模型扩展复杂指标;增强计算通过智能查询服务和智能物化平衡运营监控与灵活分析的性能需求,并探索云原生Lakehouse引擎提升查询性能。该平台已支持美团百余业务线,日查询量达百万级,成功率超99.9%。未来将持续深化自动语义和增强计算能力,并发展智能化分析应用。
2026-06-09 10:42:51
23
原创 云器Lakehouse 2026年5月版本发布:拥抱 AI Agent,重塑数据智能开发新范式
云器Lakehouse发布三大版本升级,实现AI能力体系化落地。核心更新包括:DataAgent支持自然语言驱动全链路数据开发;企业级模型管理实现AI能力精细化治理;MCPServer打通第三方AI生态。开发体验优化包含IDE智能补全、ForEach循环任务等;新增代码审批保障生产安全;数据同步覆盖更多数据库类型;运维监控能力全面增强,支持主动治理。这些升级标志着Lakehouse向AI-Native数据平台演进,未来将持续深化Agent能力、多环境审批等功能。详情可访问云器科技官网。
2026-06-08 15:46:03
291
原创 车联网数据平台架构演进:从救火队员到效能提升的实战之路
本文基于云器科技刘俊的实战分享,剖析车联网数据平台在数据量大、高并发、低价值密度、高时效及流量波动下的典型困境:组件繁杂运维难、存算一体资源浪费、Lambda架构冗余不一致。通过长安汽车(架构收敛,时效提升至分钟级)、长城汽车(单车查询百毫秒级,成本大幅下降)、安凯汽车(SaaS化,TCO降低45%)三个案例,展示了“去繁就简”的演进路径:统一引擎、增量计算、存算分离、冷热分层等。文章强调,优秀架构的核心是精简高效,支撑业务增长。
2026-06-08 15:03:14
661
原创 Apache Iceberg-cpp:原生性能架构与演进路线
【摘要】iceberg-cpp 是 Apache Iceberg 社区首个原生 C++ SDK,由云器科技发起,旨在填补 Iceberg 在 C++ 生态中的空白。项目采用 C++23 标准,坚持标准兼容、可插件化、开箱即用的设计理念。其三层架构(核心库、bundle 库、REST 客户端)基于 Arrow C Data Interface 实现零拷贝数据交换,目前已支持 V2 删除文件、扫描规划等能力,致力于成为高性能 C++ Lakehouse 引擎的统一底座。
2026-06-08 14:30:12
578
原创 Apollo如何用云器Lakehouse实现3.5倍性能提升与架构极简之道
摘要:跨境电商广告优化企业杭州客攀(Apollo)通过采用云器Lakehouse数据平台成功解决了技术架构复杂、性能瓶颈等核心痛点。原有基于阿里云EMR+Flink+ADB的三套系统被简化为两套,SQL方言从三种减少到两种。迁移后,核心查询性能提升3.5倍,ETL任务耗时降低90%,规则引擎实现零故障运行。云器Lakehouse的增量计算、动态表等高级功能显著提升了开发效率,1人团队即可支撑500家客户需求。展示了云器在简化技术栈、提升性能、降低运维成本方面的优势,为初创企业提供了一条高效可靠的技术升级路径
2026-06-08 11:35:56
449
原创 Token消耗量翻10倍才算企业转型及格线?三位产业一线大佬教你用出性价比
摘要:随着大模型应用普及,企业面临Token成本激增问题。尽管每百万Token成本下降75%,但消耗量增长10倍,Anthropic等公司收入激增233%。三位专家指出,低效使用(如路径冗余、长上下文堆积、模型超配)是主要浪费源,建议通过分层路由、优化上下文、精准场景匹配提升性价比。技术层面,低精度计算、MoE架构、硬件加速可降本。目前企业更应关注AI带来的业务价值,而非单纯控制成本,建议为员工配置合理Token预算(如每人每月500-1000美元),通过数据治理和反馈机制持续优化投入产出比。
2026-06-05 18:06:04
364
原创 湖上原地加速:存量数据平台最低风险的降本增效与AI演进之路
摘要:云器科技提出"湖上原地加速"方案,解决企业数据平台面临的降本增效与AI探索双重挑战。该方案通过"数据不动、元数据不动、任务不搬、SQL不改"的嵌入式架构,在保留现有Hadoop生态的同时实现计算成本降低50%以上、查询性能提升3-10倍。典型客户案例显示,火花思维整体性能提升3-10倍并降本60%,高途教育实现查询效率5倍提升,美团BI平台查询延迟降低46%。方案支持平滑演进至支持多模数据处理的新一代Lakehouse架构,为AI应用提供高质量数据基础。
2026-06-05 15:53:25
327
原创 开放湖仓的下半场:Iceberg Summit 2026 深度实录与演进洞察
Julien 的观点是,这些底层协议和格式已经奠定了开放湖仓的基础,未来的工作将是利用这些坚实的基础,通过协议的微调和存储的“硬核”优化,来持续释放新硬件和新场景的全部性能潜力。这些实战经验警示我们,协议的开放性带来了生态的繁荣,但也对像 iceberg-cpp 这样的原生实现提出了更高的挑战:必须以最严谨的态度,确保每一个细节都与 Spec 严格对齐,以避免重蹈覆辙,成为社区互操作性测试中的新痛点。站在 2026 年这个节点,弥漫在会场中的最强烈的感受,是大家对 AI 带来的“未知机会”所表现出的兴奋。
2026-06-05 15:36:19
365
原创 为什么增量计算成为小红书、快手、美团的共同选择?
摘要:面对大厂海量数据与AI需求的双重压力,数据处理引擎能力面临新挑战。云器Lakehouse通过通用增量计算(GIC)技术,在小红书、快手、美团三大厂核心场景实现突破:小红书千亿级日志实验数仓数据新鲜度从天级压缩至5分钟;快手EB级数据任务资源消耗降至全量计算的1/20;美团百万级查询场景性能提升2倍。其Single-Engine架构统一批流交互查询,兼容现有生态,显著降低改造成本。这些实践验证了云器技术在严苛生产环境下的可行性,为Data+AI融合提供了新思路。
2026-06-05 14:56:03
426
原创 零成本迁移,原地加速,成本降低60%:火花思维Lakehouse升级实践
火花思维为应对开源Spark引擎性能瓶颈、高成本及运维挑战,引入云器Lakehouse,采用分阶段升级策略。第一阶段实现“零迁移、换引擎”,通过外表模式在不搬数据、不改平台的前提下,将高消耗任务100%迁移至新引擎。实际收益显著:任务性能提升3-10倍,数据时效从T+1提升至小时级,计算成本降低60%以上,迁移工作量趋近于零。该实践验证了“自研调度+托管算力”模式的有效性,为后续向Kappa架构演进及Data+AI应用探索奠定了坚实基础。
2026-06-05 11:52:51
370
原创 美团 x 云器|从美团BI平台升级看数据引擎架构升级演进路径
美团BI平台面临Lambda架构带来的数据不一致、资源孤岛、运维复杂等痛点,选择基于云器Lakehouse进行引擎升级。云器以Single-Engine单引擎架构为核心,通过C++向量化执行、通用增量计算、双模执行(MPP/BSP)、虚拟集群、自动降级及“湖上原地加速”(不搬数据、不改SQL、不迁任务)六大技术,实现了“三个三分之一”的落地效果:架构复杂度下降三分之二(从三套引擎收敛为一套)、同等资源下查询性能提升至原来的3倍(关键查询从344.3秒降至122.8秒),并以插拔式方式实现业务零中断升级。
2026-06-05 10:57:01
378
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅