Apache Doris在美团外卖数仓中的应用实践

最新推荐文章于 2024-06-26 19:11:41 发布
转载 最新推荐文章于 2024-06-26 19:11:41 发布 · 449 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://tech.meituan.com/2020/04/09/doris-in-meituan-waimai.html
文章标签：

#tidb

博客链接指向美团技术文章，介绍美团外卖中Doris的相关技术，虽未展示具体内容，但推测与Doris在美团外卖业务中的应用有关，Doris是信息技术领域的数据处理相关技术。

https://tech.meituan.com/2020/04/09/doris-in-meituan-waimai.html

数仓：Doris在美团的应用实践
GIS摆渡人
07-28 447
美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题，他们通过引入ApacheDoris引擎优化生产方案，实现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与基于Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。httpshttpshttpshttpshttpshttpshttpshttps。...
【Doris】美团外卖实时数仓建设实践
m0_54252387的博客
07-13 1546
**导读：**本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。在实践中，我们总结的最佳实践是：一个通用的实时生产平台 + 一个通用交互式实时分析引擎相互配合同时满足实时和准实时业务场景。两者合理分工，互相补充，形成易于开发、易于维护、效率最高的流水线，兼顾开发效率与生产成本，以较好的投入产出比满足业务多样需求。1 实时场景实时数据在美团外卖的场景是非常多的，主要有以下几点：运营层面：比如实时业务变化，实时营销效果，当日营业情况以及当日实时业
美团 Doris Bitmap 精确去重优化实践
SmartSi
01-30 1145
第一部分将介绍精确去重的业务场景以及现有的一些解决方案，并讲解 Doris MPP 架构在两阶段聚合实现中的原理和 Bitmap 数据结构的作用。在流量场景中，精确去重计算无疑是一项重要任务。尤其在计算多种维度下的去重指标时，如 PV、UV 及日活用户数等，去重指标的计算复杂度相较于普通指标（如 SUM 或 AVG）更高，更容易成为性能瓶颈。数仓生产：在 OLAP 引擎现场计算能力出现之前，去重指标的计算可以在数据仓库生产环节完成。
OLAP(三)：Doris
.
08-27 2334
1.编写测试程序1,无限循环通过Spark restful API 提交任务到spark集群运行,每个任务申请worker数1个,cpu:1核,内存:1g,driver端 cpu:核,内存1g,程序只提交spark任务不进行任务读取文件和处理分析操作,申请到资源就立马释放。4.编写测试程序4,提交2个任务,第一个任务先提交并申请spark集群50%资源,然后提交第二个任务,第二个任务也要获取spark集群50%资源。4.若提交一个任务,spark集群只能满足其一部分申请,这个任务该如何进行。......
Doris案例篇—美团外卖数仓中的应用实践
热门推荐
03-19 4万+
Doris是基于MPP架构的OLAP引擎，主要整合了Google Mesa（数据模型）、Apache Impala（MPP Query Engine）和Apache ORCFile （存储格式，编码和压缩）的技术。Doris的系统架构如下，主要分为FE和BE两个组件，FE主要负责查询的解析、编译、优化、调度和元数据管理；BE主要负责查询的执行和数据存储。关于Doris的更多技术细节，可参考其官方文档。整体架构同时支持高并发点查询和高吞吐的Ad-hoc查询。同时支持离线批量导入和实时数据导入。
【推荐】最强大数据学习与最佳实践资料合集（基础+架构+数仓+治理+案例）（100份）.zip
10-18
Doris在美团外卖数仓架构中业务实践与改进思路 DorisDB原理剖析 和应用实践篇2021 Flink 流批一体的技术架构以及在阿里的实践 Flink实时仓库实践 Hadoop开源相关，Flink，Kylin等集群搭建2021 KylinCloud+Hudi实践 ...
美团外卖如何加入es
04-05
具体来说，在美团外卖的离线数仓建设实践中提到过对实时场景的支持，可以通过 Flink 或 Storm 处理流式数据并将结果发送给 Elasticsearch 进行索引构建。 3. **API 接口调用** 如果目标是少量特定记录而非大规模...
【硬刚大数据】从零到大数据专家之Apache Doris篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-14 1993
欢迎关注博客主页：https://blog.youkuaiyun.com/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家之Hadoop/HDFS/Yarn篇 ...
Apache Doris
wqy19941008的博客
08-26 1067
MPP 分析型数据库产品。基于Doris 0.15 -1.0MPP Massively Parallel Processing 大规模并行处理。
数据仓库实时数仓.rar
06-28
这是数据仓库的架构发展历史，可以知道数据仓库建设和发展
干货丨渗透测试常用方法总结，大神之笔！
m0_61869253的博客
03-18 1721
一般先运行端口扫描和漏洞扫描获取可以利用的漏洞。多利用搜索引擎有授权的情况下直接使用 nmap 、masscan 、自己写py脚本等端口扫描工具直接获取开放的端口和获取服务端的 banner 信息。使用 Python 端口扫描的介绍https://thief.one/2018/05/17/1/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.ioWindows 下基于 Powershell 的端口扫描脚本。
Appium+Java+Maven+Android自动化测试框架搭建
qq_33303090的博客
03-07 3555
声明 部分内容转载于以下文章： https://www.cnblogs.com/Jadie/p/6061428.html https://www.cnblogs.com/fnng/p/7683427.html https://blog.youkuaiyun.com/wuguixiaomei/article/details/82977265 https://blog.youkuaiyun.com/xl_lx/article...
Apache Doris主要应用场景和一些实际案例
qq_34068440的博客
06-26 2442
Apache Doris通过其卓越的性能和灵活性，已经成为多个行业中的实时数据分析和业务报表生成的重要工具。无论是互联网企业、传媒公司还是电商平台，Doris都能够胜任各种复杂场景的数据处理和分析需求，帮助企业更好地利用数据价值，提升业务运营效率和市场竞争力。
深入探索Android稳定性优化
疾风剑豪
09-03 678
https://juejin.cn/post/6844903972587716621--深入探索Android稳定性优化 https://mp.weixin.qq.com/s/g-WzYF3wWAljok1XjPoo7w? -//-Android 平台 Native 代码的崩溃捕获机制及实现 CountDownTimer.onFinish on a null() 四、捕捉native crash-native crash-native native crash-native()...
Doris从理论详解到千万级数据量场景使用
zjjcchina的博客
08-08 2478
默认一个集群只能有一个Leader,可以有多个Follower和Observer.其中Leader和Follower组成一个Paxos选择组，如果Leader宕机，则剩下的Follower会成为Leader，保证HA。注意：DROP BACKEND 会直接删除该 BE，并且其上的数据将不能再恢复！③ 增加BE节点，就像上面安装一样在mysql客户端，使用ALTER SYSTEM ADD BACKEND语句即可，相对应删除BE节点，使用==ALTER SYSTEM DECOMMISSION BACKEND”.
【无标题】
weixin_47158466的博客
06-01 675
据公开资料显示，Apache Doris在美团、小米、京东、百度、网易、字节跳动、快手、腾讯、华为、新浪、知乎、360等大型互联网企业有深入的应用和稳定的生产运行，全球范围内的企业用户规模已超过1000家。这是一本从基本操作、架构设计、进阶使用、运维管理、拓展应用、项目实战等多个维度全面讲解Doris的著作，得到了Apache Doris PMC主席、Select DB创始人兼CEO以及多位Apache Doris PMC的强烈推荐。Doris依赖FE节点管理元数据，可用性高，不依赖外部组件；
美团外卖离线数仓建设实践
大数据星球-浪尖
09-29 2391
文章作者：惠明美团外卖 技术专家编辑整理：史士博出品平台：DataFunTalk导读：美团外卖数据仓库主要是收集各种用户终端业务、行为数据，通过统一口径加工处理，通过多种数据服务支撑主...
【遇见Doris】Apache Doris在京东双十一大促中的实践
ucanuup_的博客
03-10 245
Doris线下沙龙完美收官！本次沙龙邀请了来自百度、美团、京...
Paimon 与 Apache Doris 在实时数仓中的对比有哪些？
最新发布
06-10
### Paimon 与 Apache Doris 在实时数仓场景中的对比分析 #### 性能对比 - **查询性能**：Apache Doris 基于 MPP 架构，能够以亚秒级的延迟返回海量数据的查询结果[^1]。它在高并发点查询和复杂分析场景中表现出色...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值