hf200012-优快云博客

原创性能超越Spark 13.3 倍,比某MPP整体快数十秒 | 多项性能指标数倍于主流开源引擎 | 云器科技发布性能测试报告

🏅增量计算：云器Lakehouse支持秒级、分钟级、小时级的数据新鲜度调节。相较于Flink常驻任务，云器Lakehouse可通过调整时效性平衡资源成本，在近实时场景下可节省10倍~1000倍的成本。🏅实时分析：在基于宽表的实时分析场景下，云器Lakehouse相较Clickhouse表现出1.48倍性能提升。🏅离线批处理：在复杂批处理任务中，云器Lakehouse相较Spark表现出13.31倍性能提升。🏅即席查询：在交互式分析场景下，云器Lakehouse相较Trino表现出9.84倍性能提升。

2024-11-18 18:27:51 474

原创比流计算资源效率最高提升 1000 倍，“增量计算”新模式能否颠覆数据分析？

面向未来，我们认为结构化数据处理分析的趋势会是，由一个一体化的引擎，统一“流”、“批”和“交互分析”，进而提供统一接口、统一处理逻辑，提供多种优化指标的高覆盖度和灵活调整的能力。单表聚合场景和双流join场景，由于要考虑历史数据/状态，属于“带历史状态计算”，调度间隔时间的调整会很大程度上影响计算资源的消耗，从图12右1右2两张图可见，云器Lakehouse在10秒调度间隔下做到持平，在30秒或调至1小时的准实时调度间隔，性能的节省可以达到百倍甚至千倍。调度增量计算的时间间隔，是由用户根据需要调整设定的。

2024-11-10 11:54:03 861

原创全面超越Spark，Clickhouse，比 Spark 快 900%，基于云器Lakehouse构建新一代一体化数据平台

这其中的背景是，数据的第一波增长源自于数据库，例如账单报表类的数据，虽然数据量较小，但对于银行等机构来说具有很高的价值。第三，大幅降低使用数据平台的门槛（通过自然语言和数据平台交互），数据平台可以突破原有的限制，开放给所有人，例如高管可能不会写 SQL 或编程，但通过大模型，可以轻松与系统进行沟通。云器科技的一体化平台，在数据分析部分，通过引入新的计算范式——增量计算，统一了流计算、批处理和交互分析，不同分析场景下，云器的性能比批处理引擎 Spark 快了九倍，同时超越交互分析产品 ClickHouse。

2024-10-17 21:22:20 1377

原创原来CDC数据同步可以这么简单，零代码可视化一键数据同步

这种方式比较简单直接，但存在两项弊端：其一，在数据量特别大的时候且业务复杂度高的情况下，涉及到比较复杂的关系查询，比如多表 join ，查询性能会遇到瓶颈，一条 SQL 可能需要很长的时间才返回，满足不了实时分析的交互诉求；本次演示数据中也模拟设计了类似情况，在源端两张表里去查询 ID ，可以看到同样的主键 ID 取值，在不同的表里分别会有一条记录，这会给同步过程带来了挑战：在合并写入到目标端时，如果是只按 ID 作为主键，这两条记录就会被尝试写入到一条记录中，会产生数据冲突的情况。

2024-10-13 22:14:56 1039

原创技术深度报道：解析云器Lakehouse如何实现超越Spark 10倍性能提升

在技术竞争的喧嚣中，我们常见各种性能指标的发布和对比，甚至争吵。”相比之下，即使启用AQE功能，Apache Spark的优化器在执行计划层面仍然无法进行这种深度优化，经常出现多读和重复读的情况，导致性能差距明显。“查询优化本质上是个NP完全问题，”关涛解释，“一个包含10个表的Join查询，理论上有超过17万种可能的Join顺序。同时，云器Lakehouse在存储层采用了现代湖仓一体化设计，基于自研的C++ Iceberg/Parquet读取器，直接消除了Java原生接口带来的JNI转换开销。

2025-03-27 20:20:49 783

原创 NinjaVan x 云器Lakehouse: 从传统自建Spark架构升级到新一代湖仓架构

为了支撑 NinjaVan 十年来的业务增长，并在数据处理的时效性、性能、成本和易用性等方面获得显著优化，NinjaVan 经过反复的探讨和验证，最终发现如果继续基于开源路线，采取对原有数据平台打补丁的方式，无法从根本上解决上述问题，因此迫切需要引入一套针对 Lambda 开源组合架构替换的的全新的数据平台架构和技术体系。以前是使用开源自建大数据平台，随着数据和查询复杂性的增长，业务平台的建设已无法支持业务的增长，开始看向数据平台托管类商业化产品做选型，同时考虑 cost cutting 的需求。

2025-03-20 20:34:19 954

原创云器Lakehouse：托管且开放的云湖仓，打造开源自建的全新升级之选

另外，借助一体化产品，端到端的集成工具有统一的使用体验，数据能够更容易的被业务方自助使用，扩大数据用户的覆盖范围，也能够扩展新兴场景。云器Lakehouse通过嵌入企业原有的数据湖的方案，在没有改动客户已有的数据管理体系情况下，通过元数据的打通，把云器Lakehouse嵌入其中，通过 serverless 的引擎方式，在原有的 Presto 报表分析和 Spark 的 ETL 场景中，把现有用户作业，通过调度系统，下发到云器Lakehouse 的 serverless engine 中，进行加工处理。

2024-12-06 13:46:27 730

原创星盘跨境依托云器 Lakehouse 实现实时离线一体化、湖仓一体化数据架构升级，支持全域数据高效分析

在对多家厂商方案的沟通对比中，星盘关注到在大数据创业圈中具备良好口碑的云器科技，对云器实时离线一体、湖仓一体的极简数据架构理念非常认同，结合云器 Lakehouse 在实时计算 POC 中优秀的性能表现，最终选择云器 Lakehouse 作为新数据平台引擎。星盘作为出海跨境服务的初创企业，在近两年的业务发展中，以自身数据平台架构的升级为缩影，见证了跨境出海品牌对数据服务的强烈需求和跨境服务企业的巨大发展机遇。其中，开源厂商虽然能达成架构升级目标，但多个组件拼装、组合的方式显然会带来高昂的运维成本；

2024-11-21 21:56:37 695

原创资源消耗降低18倍，流批一体，探迹×云器Lakehouse：重塑数据架构，实现全域数据低成本实时洞察

整个调研过程持续1年多的时间，没有找到好的解决方案，直到听了云器的产品发布会，了解到增量计算技术，云器在做基于增量计算的流批一体方案，和我们探索的流批一体方向思路一致，所以云器的产品发布后我们做了POC验证，效果不错，就将一个完整的加工链路上了生产。综上，这些落地效果基本解决了探迹核心的痛点问题，Lambda架构升级为Kappa架构，保证数据时效性的同时也解决了数据不一致问题，解决了多套代码维护成本高的问题等等，为探迹后续业务的快速发展打好了一个坚实的基础。数据新鲜度降低的同时，成本线性降低。

2024-11-21 21:53:34 844

原创什么是湖仓一体数据平台？怎么构建湖仓一体数据平台

数据湖仓一体是一种将数据湖和数据仓库融合在一起的数据架构。数据湖仓一体支持机器学习、商业智能和预测分析，使组织能够利用低成本、灵活的存储服务来存储所有类型的数据（结构化、非结构化和半结构化数据），同时提供数据结构和数据管理功能。数据湖仓一体是一种现代数据架构，它结合了数据湖（原始形式的大型原始数据存储库）和数据仓库（经过整理的结构化数据集）的主要优势来创建单一平台。具体来说，数据湖仓一体让组织可以使用低成本存储空间来存储大量原始数据，同时提供结构和数据管理功能。

2024-10-31 08:12:30 2125

原创重塑数据架构：云器Lakehouse如何简化组装式架构实现性能与成本的精益平衡

📌本文将介绍云器科技自研的Lakehouse产品。通过本次分享，您将了解云器Lakehouse产品特性，了解一体化数据平台如何提升数据处理和数据分析的效率，使之更轻松、更简洁、更高效，了解增量计算如何做到平衡数据新鲜度、查询性能和成本。此外，数据湖仓的一体化架构，为目前热门的人工智能大模型提供开放的接口，可以直接使用云器Lakehouse的数据湖中数据进行模型训练。云器一体化平台统一批、流和交互分析，简化数据分析架构。

2024-10-20 17:11:01 970

原创 Single Engine + All Data ：云器科技怎么基于“增量计算”的一体化湖仓平台，构建新一代流批一体数据平台，

针对当前主流数据架构的痛点和挑战，云器科技提出通过增量计算的方式，统一流、批、交互三种计算模式，实现了的架构，覆盖数据不可能三角，给用户提供灵活的多种性能成本平衡点，并超越当前主流引擎的性能。此外，云器Lakehouse在湖仓架构上做到开放并实现All data技术理念，一体化的湖仓平台能够同时支持BI和AI的Workload。基于一体化架构，云器提出AI4D的新方向，通过AI的方式更好地优化平台效率。（注：AI4D领域另有专题技术白皮书论述）

2024-10-20 17:09:01 1074

原创如何高效解锁业务数据价值：多云时代应该怎么构建新一代数据平台架构

其实是这样的：很多企业级平台面向的是企业级用户，这些用户很多原来是数据库的用户，对数仓系统更熟悉，同时，企业级数据服务的设计更偏向于托管化和更好的数据组织方式，因此数据仓库的体系其实更适合这类场景。如前文讲到的，不同层次的客户可能会选择不同产品，开源自建软件几乎都是免费的，但是你可能需要一个独立的团队去支撑这样一个大数据平台的部署和运维，带来了相对较高的维护成本（一个简单的经验公式是，对于百台规模的平台，基于开源软件自建的总 TCO= 物理硬件成本 + 开发和维护人力成本 = 物理硬件成本 *2）。

2024-10-17 21:24:50 1115

原创如何解锁业务数据价值：基于云器Lakehouse构建面向未来的ELT现代数据栈

version: 2sources:tables:description: "订单表，包含所有订单数据。description: "用户表，包含用户信息。description: "员工信息，departments table"description: "员工信息，dept_emp table"description: "员工信息，dept_manager table"description: "员工信息，employees table"

2024-10-14 17:02:49 706

原创实时智能全托管-云器Lakehouse重新定义多维数据分析

在电商领域，具体的包括推荐系统的实时化应用场景：进行实时用户行为分析、内容特征分析以及 A/B 测试等，会涉及不同类型的组件，包括 Spark 、 Hive 、 ClickHouse 、 Druid 等，以及一些基础服务。云器Lakehouse提供了一体化的数据架构解决方案，其底层是湖仓一体的架构，以统一的元数据和统一的数据管理作为基础，在此之上，采用单一引擎（single engine）的方式来支持不同场景下的数据变化和数据处理需求，包括批处理计算、流处理计算、交互式检索以及点查询等场景。

2024-06-28 17:21:32 1451

原创 Atlas基于云器Lakehouse升级数据平台，实现业务效率与平台稳定性的双重提升

在使用云器Lakehouse之后，优化了原来采购了固定资源规格的存储服务的限制，从存放7天的数据优化成无限扩展可以低成本存放 365 天的数据，能支撑业务方的历史数据的查询需求的范围也变得更加宽泛，极大扩展数据价值挖掘的范围，支撑起更长客户的生命周期管理。对此，平台组进行了多种类型的多轮查询验证，在未进行过性能调优的基础上，基本上能按照线性的扩展要求，通过扩大计算资源规格，能够相应地按比例减少计算消耗的时间，因此获得了令技术团队和业务团队都十分满意的性能指标。这一条是最严重的一条，需要最优先被解决。

2024-06-12 16:43:45 712

原创智简云携手云器Lakehouse打造一体化大数据平台，释放数据价值

一体化架构：告别繁琐的Lambda架构，寻求一个一体化的大数据平台，简化数据处理流程，降低系统复杂性和技术多样性。性能达标：平台必须具备强大的数据处理能力，能够高效地进行查询分析和跑批任务，满足海量数据的处理需求。弹性伸缩：平台需要具备弹性伸缩能力，能够根据数据量和计算需求动态调整资源，应对业务高峰期和大促活动。云原生服务：优先选择云原生服务，避免私有部署带来的运维难题，降低运维成本，提高资源利用率。数据安全：平台必须具备完善的数据安全保障机制，确保会员数据的安全性和隐私性，满足合规要求

2024-05-21 18:07:16 1078

原创重塑数据架构：云器Lakehouse如何简化组装式架构实现性能与成本的精益平衡

增量计算实质上就是把原本的全量计算拆分为存量数据的计算结果和增量数据的计算结果，复用已有的存量数据计算结果，并对增量数据进行计算和结果合并，来达到节省计算量，提高 query 性能的目的。因此，autoMV 会放弃不划算的 MV，只选择那些能够带来显著收益的 MV，并自动创建在我们的数据仓库中。数据加工：使用物化视图替代传统的 table 数据表，即可自动进行增量计算，使这套代码不仅可以处理离线任务，当需要变成实时任务的时候，只需要调整该物化视图的刷新时间，便可自动对距上一次刷新产生的增量数据进行处理。

2024-05-12 23:17:42 824

原创性能提升 300%｜分秒帧基于云器 Lakehouse 升级一体化数据平台

基于云器 Lakehouse 一体化数据平台，将不同源、不同类型的数据统一到一个集中存储库中，以实现统一用户画像，完成了自动化线索管理闭环，从市场、到产品、再到客户成功整个链路形成完整闭环，数据洞察更精准，挖掘潜在用户与机会，提供不同人群运营策略，为客户提供更好的数据服务，更方便、理解自己的数据资产。，我们重新梳理了整个数据链路，从采集到最后运维的整条链路，总结了原架构造成高成本的原因（见下表），可见企业的数据链路成本问题不仅仅是计算成本，运维成本，架构和数据各个链条上，都有成本问题需要考虑。

2024-05-12 22:56:22 877

原创长安汽车：基于云器 Lakehouse 的车联网大数据平台建设

这带来的问题是，当业务新增需求时，或者做一个新的数据产品、处理一些新的信号时，需要从头开发整个链路，在实时链路上重新加入这些数据，开发链路会非常复杂，要跨多个组件、多个平台，除了Java，还需要 SQL 等等，开发门槛高，效率低。计算成本方面，在同样的数据量、同样的加工逻辑、得到同样的结果，并保证结果正确的前提下，从T+1集中时间计算，分摊成近实时增量计算，比如5分钟加工一次，一天共 288 次，将全天的资源累加起来，与之前天级的计算资源相比较，计算口径为CU时=8core*1hr。规模越大，表现越好。

2024-05-12 22:47:59 1103 1

原创 AI风暴来袭：2024年数据平台的演进、挑战与机遇

上图同时对比了数据库领域的领军企业Oracle和大数据领军企业Snowflake，成立46年的Oracle在2023年有48B$的营收规模，是成立12年的Snowflake 2B$营收的20x，但Snowflake有50%的同比增长率，是Oracle 5%增长率的10x。回顾历史，是搜索需求驱动了大数据平台的诞生和发展（数据平台的第二次革命），但搜索平台与数据平台从来都是一体的，就用阿里巴巴为例，阿里所有的数据（包括搜索/推荐日志）都汇总进数据中台，统一处理。数据相关领域也有智能化的巨大潜力。

2024-05-12 22:46:30 914

原创云器Lakehouse：Multi-Cluster弹性架构如何实现湖上高并发低延迟分析

在设计资源的时候，我们创建了1~10 的资源实例，每个资源实例支撑 8 个并发，当有 80 个并发同时来的时候，通过横向的动态扩容，可以毫秒级地将资源实例弹出来，把新增加的并发请求接住。Spark 访问云器Lakehouse的时候，更多的是希望直读存储以提高吞吐，所以我们在整个的元数据系统设计之初就考虑了开放性，提供云器Catalog 的SDK， Spark 可以直接使用我们的 Catalog 的 SDK 包，通过云器产品的用户名和密码授权地对接到云器的数据，访问底层的存储群。这就是客户端查询的情况。

2024-05-12 22:45:27 1233 1

原创什么是数据平台——企业构建Data+AI的基础数据底座需要的决策参考

什么是数据平台标准的解释是这样的WikipediaA data platform usually refers to a software platform used for collecting and managing data, and acting as a data delivery point for application and reporting software.数据平台是指将各类数据进行整合、存储、处理和分析的技术平台，旨在基于数据为业务提供各类服务、产生业务价值。数据

2024-05-12 22:44:35 1134

原创爱分析基于杭州云器Lakehouse实现成本最优的一体化管理，新一代数据平台的建设方式

2013-2017年大数据平台建设，2018-2022年数据中台建设，两轮大规模数据平台建设后，企业用户取得一定成果，“数据驱动业务”理念深入人心，但在实际落地时，数据开发管理难度依然很大，数据需求响应速度依然不足。AI技术一般是上接业务系统，下接数据平台，只有业务系统和数据平台都相对成熟，才能真正发挥AI价值，这意味着，全公司级统一的知识库、数据资产目录、数据模型、数据字典成为必备条件，这些对数据架构提出更高要求。过往企业用户习惯于面向单个数据应用构建一套数据平台，无形之中形成了新的“数据烟囱”现象。

2024-05-12 22:43:34 410

原创 Doris 数仓使用规范（经验版）

【建议】一次insert into select 数据超过1亿条后，建议拆分为多个insert into select语句执行，分成多个批次来执行。【建议】前缀索引的第一个字段一定是最长查询的字段，并且需要是高基字段。【建议】大量数据排序（5亿以上）后返回部分数据，建议先减少数据范围在执行排序，否则大量排序会影响性能。【强制】如果分桶字段存在30%以上的数据倾斜，则禁止使用Hash分桶策略，改使用random分桶策略。【强制】亿级别大表禁止使用select * 查询，查询时需要明确要查询的字段。

2024-01-02 23:03:37 3663 5

原创 Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门

多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。在之前的 Doris 版本中，用户数据只有两个层级：Database 和 Table。当我们需要连接一个外部数据目录时，我们只能在Database 或 Table 层级进行对接。比如通过create external table的方式创建一个外部数据目录中的表的映射，或通过create external database的方式映射一个外部数据目录中的 Database。

2023-11-30 11:01:08 1373

原创 Apache Doris 整合 FLINK 、 Hudi 构建湖仓一体的联邦查询入门

是不是使用非常简单，快快体验Doris 湖仓一体，联邦查询的能力，来加速你的数据分析性能。

2023-11-27 15:49:15 1313

原创 Apache Doris 数据建模之 Aggregate Key 模型

但是因为 Doris 它最早是给凤巢的一个广告报表做的，广告报表有一个很大的特点，就是它只关心统计分析的结果，而不太关心明细的数据，所以 Doris 最早一代的数据模型，是一个聚合的模型。通过上面的图我们可以看到，这是一个典型的用户信息和访问行为的事实表。也就是说，任何还未聚合的数据（比如说两个不同导入批次的数据），必须通过某种方式，以保证对外展示的一致性，特别是在聚合模型上做count计算，可能会导致结果不准确，针对这种情况我们怎么去解决。还有在这个三种数据模型之上的数据分区分桶的策略。

2023-10-10 15:28:54 921

原创怎么使用 Go 语言操作 Apache Doris

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。使用 Doris 的用户都知道 Doris 是完全兼容 MySQL 协议的，我们可以使用任意 MySQL 客户端或者 Connector 去连接 Doris，用 SQL 操作 Doris，这样你可以使用任意语言来操作 Doris。这里我们简单做一个查询表里的所有数据。

2023-09-28 17:24:12 2824

原创怎么使用 Flink 向 Apache Doris 表中写 Bitmap 类型的数据

Bitmap是一种经典的数据结构，用于高效地对大量的二进制数据进行压缩存储和快速查询。Doris支持bitmap数据类型，在Flink计算场景中，可以结合Flink doris Connector对bitmap数据做计算。社区里很多小伙伴在是Doris Flink Connector的时候，不知道怎么写Bitmap类型的数据，本文将介绍如何使用 Flink Doris Connector 如何将 bitmap 数据写入 Doris 中。前置准备Doris2.0.1的环境。

2023-09-27 12:42:35 1555

原创 Apache Doris 行列转换可以这样玩

行列转换在做报表分析时还是经常会遇到的，今天就说一下如何实现行列转换吧。行列转换就是如下图所示两种展示形式的互相转换。

2023-09-26 13:14:01 1972 1

原创 Apache Doris 2.0 版本 FQDN 使用介绍

在介绍这个之前，我们知道Doris 之前是不支持主机名称方式，只能使用 IP 地址，在实际使用中，有的用户因为网络重构或者设备迁移产生了IP地址变更，这个就会引发Doris集群数据不可用。如果我们能通过主机名称，那么就可以避免因为IP地址变更引发的集群不可用数据丢失的问题。Doris 从 2.0 版本引入的 FQDN的能力，来解决之前的 IP地址不能变更的问题。本文介绍如何启用基于 FQDN（Fully Qualified Domain Name，完全限定域名）使用 Apache Doris。

2023-09-13 08:59:48 465

原创 [2.0快速体验]Apache Doris 2.0 弹性计算节点快速体验

这样这种节点其实就变成了一个无状态的 BE 节点，我们可以非常容易的进行弹性伸缩，不需要想之前混合节点那样，在扩展集群的时候，需要等待 tablet 副本均衡完成，这个节点才能进行有效的负载。然后我们将节点加入到集群之后，并启动节点，查看 BE 的信息，可以看到，NodeRole 这个字段，如果是 mix 表示为混合节点，如果是computation表示为计算节点。查看我们刚才执行的 SQL Profile 可以看到，这个Catalog外表的计算是在计算节点上进行的，并不是在混合节点上。

2023-06-05 09:35:13 1193

原创 [2.0快速体验]Apache Doris 2.0 日志分析快速体验

我们知道 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。在Apache Doris 2.0 给大家带来了全新的倒排索引，利用Doris的MPP执行框架、向量化计算引擎、列式存储、标准SQL、CBO的查询优化器等特性为用户提供高性能，低成本的日志分析服务。解决上面的问题，需要集中化的日志管理，所有服务器上的日志收集汇总。

2023-06-04 14:51:09 1731

原创 Apache Doris 2.0 冷热分离快速体验

用户在满足了自身对于数据使用要求的情况下，自然会开始考虑数据存储成本等方面的问题，对于那些很少访问甚至基本不访问的数据，使用成本更低的存储方式将是一种更好的选择。未来一个很大的使用场景是类似于es日志存储，日志场景下数据会按照日期来切割数据，很多数据是冷数据，查询很少，需要降低这类数据的存储成本。对于热数据，其访问的频率很高，且往往是用户非常关心的数据，其实时性要求一般都很高，并且读写的频率也会更高，这正是DORIS本地存储重点解决的问题。从这个图上我们也可以看到，已经将部分数据迁移到对象存储上了。

2023-05-11 18:56:10 1976

Eclipse RCP入门

空空如也