实时计算Flink —— 独享模式系统架构

本文解析了实时计算独享模式的系统架构,包括全托管管理方式、ECS托管、弹性网卡申请与使用、公网访问配置及安全组规则设置等关键信息。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

独享模式系统架构如下所示。实时计算独享模式系统架构

系统架构说明:

  1. 实时计算独享模式为全托管管理方式。您所购买的ECS都托管在实时计算VPC下,暂不提供用户登陆接口。如有登陆ECS的需求,请联系实时计算客服。
  2. 为了访问您的VPC内服务,会在创建集群时,在您账号下申请弹性网卡。通过弹性网卡,您即可访问其VPC下所有资源。
  3. 您的实时计算集群,如果需要访问公网,可在弹性网卡上绑定NAT网关及弹性公网IP,具体操作步骤,请参考阿里云官网文档。
  4. 实时计算在您的账号下的一个单独的安全组内,为您申请的弹性网卡。若您需访问VPC内其他安全组的服务,请配置该安全组的规则。

说明:在您不访问公网的情况下,弹性网卡不会对您产生任何额外费用。


本文转自实时计算—— 独享模式系统架构
滴滴出行作为全球最大的移动出行平台,每天收集和需要分析处理的数据量非常大。这些数据形式多样:既包括存储于数据库中的业务数据,也包括各种API请求所记录的文本日志。此外,更大的挑战在于业务上需要我们实时的分析处理如此大规模的数据。从数据生成到可被分析查询,系统延迟在秒级。我们选用Druid/Samza/Kafka/Spark/Hadoop等开源技术栈,开发了符合Lambda architecture的OLAP系统。本次演讲我们以滴滴大数据实时监控系统为例,介绍滴滴实时计算系统架构所面临的挑战及相应解决方案。 滴滴大数据实时监控系统服务于滴滴各个业务线,对关键业务指标的变化进行实时监控。研发、产品、运营人员可以据此及时了解业务现状,发现系统问题、调整业务决策。 演讲主要包括以下话题: 1. 实时计算的挑战及解决方案: (1)可扩展性 (2)有状态的实时计算 (3)数据被重复处理 (4)高可用 (5)实时数据流与外部系统或服务关联计算 2. OLAP系统架构选型:KV store与column store 哪种存储更适合OLAP应用? 3. 简要介绍Kafka的特性,阐述为何Kafka是实时计算系统中理想的数据存储方案 4. 详细介绍Druid的架构设计及原理,阐述Druid作为OLAP解决方案的优点 5. 详细介绍Samza的架构设计及原理,阐述如何通过Samza解决实时计算中的各种挑战 6. 介绍Lambda architecture,阐述如何将离线计算实时计算统一起来,通过离线计算来修正实时计算
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值