Doris实时湖仓分析

最新推荐文章于 2025-09-02 17:52:27 发布
原创 最新推荐文章于 2025-09-02 17:52:27 发布 · 363 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #架构

在这里插入图片描述
思必驰方案：在这里插入图片描述
中国联通方案：
在这里插入图片描述
美团外卖方案：
在这里插入图片描述

sunxunyong
关注
Doris实战——工商信息查询平台的湖仓一体建设
爱吃辣条的博客
03-18 1679
Doris实战——工商信息查询平台的湖仓一体建设
Apache Paimon：开启实时湖仓存储新时代
ith321的博客
08-30 1803
Apache Paimon：开启实时湖仓存储新时代
Apache Doris 在某工商信息商业查询平台的湖仓一体建设实践
SelectDB
12-05 2468
从传统 Lambda 架构到基于 Doris Multi-Catalog 的湖仓一体架构实践，保证了数据的准确性和实时性、高效处理和分析了大规模数据，推动信息服务行业发展创新！
天翼云：Apache Doris + Iceberg 超大规模湖仓一体实践
m0_59235699的博客
03-25 1042
天翼云是中国电信旗下一家科技型、平台型、服务型公司，以“云网融合、安全可信、绿色低碳、生态开放”四大优势向客户提供公有云、私有云、专属云、混合云、边缘云全栈云服务。。天翼云基于 Apache Doris 和 Apache Iceberg 构建的湖仓一体方案，兼具灵活性、高性能和低成本优势，同时满足了报表和 BI 分析、湖仓融合分析、日志存储分析、高并发实时分析、MPPDB 国产化替代等多种场景需求。天翼云数据来源众多，在数据整合和共享方面面临挑战。
Apache Doris：重塑湖仓一体架构的高效计算引擎
“种一棵树最好的时间是十年前，其次就是现在。”
09-02 1207
Apache Doris：重塑湖仓一体架构的高效计算引擎
Apache Doris 湖仓一体：打破数据边界，解锁实时分析的终极答案
一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!
03-19 1070
湖仓一体架构融合数据仓库的高性能、强管理能力和数据湖的灵活性，底层支持多种数据类型并存与共享，上层通过统一接口，同时满足实时查询和分析，极大便利企业数据治理，成为大数据领域的发展新趋势。
Doris 整合 Iceberg+Flink CDC 构建实时湖仓一体的联邦查询分析架构
.
04-17 4584
这里Doris On Iceberg我们只演示了Iceberg单表的查询，你还可以联合Doris的表，或者其他的ODBC外表，Hive外表，ES外表等进行联合查询分析，通过Doris对外提供统一的查询分析入口。自此我们完整从搭建Hadoop，hive、flink 、Mysql、Doris 及Doris On Iceberg的使用全部介绍完了，Doris朝着数据仓库和数据融合的架构演进，支持湖仓一体的联邦查询，给我们的开发带来更多的便利，更高效的开发，省去了很多数据同步的繁琐工作，快快来体验吧。
Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询
锋哥聊DORIS数仓
06-25 3556
这篇教程将展示如何使用 Flink CDC + Iceberg + Doris 构建实时湖仓一体的联邦查询分析，Doris 1.1版本提供了Iceberg的支持，本文主要展示Doris和Iceberg怎么使用，同时本教程整个环境是都基于伪分布式环境搭建，大家按照步骤可以一步步完成。完整体验整个搭建操作的过程。本教程的演示环境如下： 1.2 系统架构 我们整理架构图如下Doris湖仓一体的联邦查询架构如下： 配置系统环境变量 2.2 配置hdfs 2.2.1 core-site.xml vi
数据无界、湖仓无界，Apache Doris 湖仓一体典型场景实战指南
atbigapp的博客
06-05 815
Apache Doris湖仓一体方案深度解析：三大核心场景实践 本文聚焦Apache Doris湖仓一体方案在三大典型场景的最佳实践： 湖仓分析加速：通过本地磁盘缓存（SSD介质）和物化视图透明改写技术，查询性能提升93倍； 多源联邦分析：支持动态创建Catalog连接Hive/Iceberg/MySQL等数据源，实现跨源SQL关联查询； 湖仓数据处理：提供定时任务调度、分层加工（DWD/DWS）和数据写回功能，形成数据处理闭环。 方案采用统一SQL引擎，实现数据无界访问，降低架构复杂度，显著提升企业数据处
网易游戏如何基于 Apache Doris 构建全新湖仓一体架构
SelectDB
06-28 4966
对于该需求，我们可以基于常用的数据维度设计物化视图，来满足用户绝大部分自定义聚合查询的需求。Doris 的一大优势在于能够自动识别并匹配最优物化视图进行查询，因此建议可设计 2-3 个物化视图，过多的物化视图可能会对数据导入速度造成影响。
从 0 到 1 构建湖仓体系， Apache Doris 湖仓一体解决方案全面解读
atbigapp的博客
07-08 1296
此外，Doris 的物化视图采用高性能存储格式，通过列存、压缩和智能索引技术，提供高效的数据访问能力，能够作为数据缓存的替代方案，提升查询效率。同时，Iceberg、Hudi、Delta Lake 等开放表格式发挥关键作用，它们不仅支持数据的近实时更新、高效的快照管理，还兼容 SQL 标准，使得数据既可以像传统数据库表一样进行事务性操作，又能充分利用数据湖的分布式存储与弹性计算优势，实现数据在数据湖与数据仓库场景间的无缝切换，为实时数据处理与历史数据分析提供统一的数据基础。
网易游戏 x Apache Doris：湖仓一体架构演进之路
SelectDB
04-17 632
导读：网易游戏引入升级架构，先是替换 Elasticsearch、Hbase、Clickhouse 构建了实时数仓，而后基于 Apache Doris 和 Iceberg 构建了湖仓融合架构，实现架构的大幅简化及统一。目前，网易游戏 Apache Doris 集群超 20 个 ，总节点数百个，已对接内部 200+ 项目，日均查询量超过 1500 万，总存储数据量 PB 级别。近年来，随着网易游戏品类和产品的快速增加，数据规模呈现爆炸性增长，日均新增数据可达百 TB 级别。
数据无界、湖仓无界， Apache Doris 湖仓一体解决方案全面解读（上篇）
SelectDB
02-19 1126
导读：湖仓一体架构融合了数据湖的低成本、高扩展性，以及数据仓库的高性能、强数据治理能力，高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设，提出了和核心理念，并结合自身特性，助力企业加速从 0 到 1 构建湖仓体系，降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。在过去的数年间，数据分析技术栈经历了许多重要变革，从最初数据仓库概念的诞生，到数据湖的兴起，进而演进到湖仓一体解决方案。
Apache Doris 3.0 里程碑版本｜存算分离架构升级、湖仓一体再进化
SelectDB
10-16 2487
亲爱的社区小伙伴们，我们很高兴地向大家宣布，在近期我们迎来了 Apache Doris 3.0 版本的正式发布，欢迎大家下载使用体验！3.0 版本是 Apache Doris 在湖仓一体演化路线上的重要里程碑版本。在 3.0 版本中 Apache Doris 增加了数据湖写回功能，用户可以在 Apache Doris 中完成多个数据源之间的数据分析、共享、处理、存储操作。结合异步物化视图等能力，Apache Doris 可以作为企业统一的湖仓数据处理引擎，帮助用户更好的管理湖、仓、数据库中的数据。
Tapdata Cloud 场景通关系列：数据入湖仓之 MySQL → Doris，极简架构，更实时、更简便
Tapdata 技术博客
01-14 1259
作为中国的 “Fivetran/Airbyte”, Tapdata Cloud 自去年发布云版公测以来，吸引了近万名用户的注册使用。应社区用户上生产系统的要求，Tapdata Cloud 3.0 将正式推出商业版服务，提供对生产系统的 SLA 支撑。
基于Apache Doris的湖仓分析
Free雅轩的博客
07-29 513
基于此背景下，部分业务开始使用Doris来承接，业务数据分析师需要对Doris与Hudi中的数据进行联邦分析，此外在Doris对外提供数据服务时既要能查询Doris中数据，也要能加速查询离线业务中的数据湖数据，因此我们开发了Doris访问数据湖Hudi中数据的特性。Hudi是下一代流式数据湖平台，为数据湖提供了表格式管理的能力，提供事务，ACID，MVCC，数据更新删除，增量数据读取等功能。Kappa架构使用一套架构处理在线数据和离线数据，使用同一套引擎同时处理在线和离线数据，数据存储在消息队列上。...
数据无界、湖仓无界，Apache Doris 湖仓一体典型场景实战指南（下篇）
SelectDB
02-21 1271
湖仓一体是将数据湖和数据仓库的优势相结合的数据管理系统。结合自身特性，提出了【数据无界】和【湖仓无界】核心理念。上篇文章已介绍了，本文将聚焦典型应用场景，进一步深入，帮助读者更好地理解和应用 Apache Doris 湖仓一体。在数据驱动决策的时代，湖仓一体架构以统一存储、统一计算、统一管理的创新形式，补齐了传统数据仓库和数据湖的短板，逐步成为企业大数据解决方案新的标准。。通过这三个场景的实践，展示 Apache Doris 如何帮助企业快速响应业务需求，提升数据处理和分析的效率。
Arctic的湖仓一体践行之路
huzechen的博客
12-14 499
本文将系统地介绍 lakehouse、table format 概念，阐述湖仓一体作为数据湖流批一体的解决方案，可以发挥哪些价值。在这个价值驱动下，我们过去两年开发了 arctic 这个流式湖仓服务，并在今年下半年开源。湖仓一体拓展了数据中台和 dataops 的边界，让业务基于数据湖，数据中台也能做流式更新；实时数仓，让数据湖能够具备传统数仓，kudu，doris 的能力，为业务极大地降本提效，...
doris数据湖
最新发布
09-23
Doris是一款高性能的分析型数据库，而数据湖是集中存储各种原始数据的架构，Doris与数据湖的融合能充分发挥两者优势，实现高效的数据处理和分析[^1]。 ### 特点 数据湖能够容纳多种格式和类型的数据，为企业提供丰富的数据资源，但在数据分析和查询性能方面存在一定局限性；Doris则具有出色的实时查询和分析能力，有高并发查询、实时分析、易扩展的特性，可实现低延迟（秒级）响应复杂查询，支持高并发（如千人同时查看报表）[^1][4]。 ### 应用场景 - **湖仓分析加速**：通过实践展示了Apache Doris可帮助企业快速响应业务需求，提升数据处理和分析的效率，结合实际场景的湖仓一体方案能让读者更好地理解和应用[^2]。 - **实时数据分析与报表**：在Java开发中，结合Doris特性可用于实时数据分析与报表场景。例如使用JDBC连接Doris进行查询操作，代码示例如下： ```java // 使用JDBC连接Doris public class DorisJdbcDemo { public static void main(String[] args) { String url = "jdbc:mysql://fe_host:9030/database"; String user = "user"; String password = "password"; try (Connection conn = DriverManager.getConnection(url, user, password)) { String sql = "SELECT user_id, SUM(order_amount) FROM orders " + "WHERE dt >= '2023-01-01' GROUP BY user_id"; PreparedStatement stmt = conn.prepareStatement(sql); ResultSet rs = stmt.executeQuery(); while (rs.next()) { System.out.println(rs.getLong(1) + ": " + rs.getDouble(2)); } } catch (SQLException e) { e.printStackTrace(); } } } ``` - **多行业复杂场景**：Apache Doris通过卓越的性能和灵活性，成为多个行业中实时数据分析和业务报表生成的重要工具，能胜任互联网企业、传媒公司、电商平台等各种复杂场景的数据处理和分析需求，帮助企业更好地利用数据价值，提升业务运营效率和市场竞争力[^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值