阿里云离线数仓

最新推荐文章于 2023-12-06 21:11:17 发布
最新推荐文章于 2023-12-06 21:11:17 发布
阅读量1.8k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hive数据仓库 文章标签： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/First_____/article/details/123921651

1.项目流程图

使用框架说明:

ECS云服务器;
DataHub:类似于kafka的软件,可以做数据缓冲,削峰
MaxCompute: 类似于hadoop+hive+ 定时调度的大数据计算框架;
DataWorks: 是MaxCompute的视图管理框架;
Quick BI: 做最后的可视化视图展示,倾向于离线数据的展示;
DataV: 大屏幕视图展示框架, 倾向于实时的计算,更加的炫酷;
RDS: RDS是云数据库的统称

流程图

2. 框架的使用

说明: 上面几个软件都是阿里云的收费,都可以在视图上直接进行操作,非常好用,这里的话,直接上一个尚硅谷的文档链接,大家配置着观看使用,上手很简单的,上面的使用流程图可以看看

下载地址:
链接：https://pan.baidu.com/s/1L8QwMYyMjtyEMr6lHN_lhg
提取码：6666

问题: 有时候使用定时调度的时候会出现数据有问题,这一点大家要小心一点

尚硅谷_尚硅谷离线数据仓库项目(阿里云离线数仓)_笔记
南雨有云
07-11 1357
网址：https://www.bilibili.com/video/BV1AJ411Q7ox?p=29&spm_id_from=pageDriver 一、项目架构设计 1.1 阿里云技术框架 1.2 技术选型 1.3 系统数据流程设计 二、数据生成模块 三、数据采集模块 3.1 购买 ECS 云服务器 3.2 基础环境准备 3.3 Flume Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 3.4
离线数仓搭建
xinglu20的博客
06-16 1434
1.先执行到这两个线条上面，然后上传date_info.txt到/warehouse/gmall/tmp/tmp_dim_date_info。注意：对自己机器有信心的话，直接执行脚本，没信心的话，执行一个，重启或者等待几分钟执行下一个。这三个不用管，所以开始前我们需要确定有这些文件和配置。上传base.txt到任意目录下，且cd到该目录。到后面将时间修改为06,07分别运行lg.sh。等吧，每个半个小时起步或者一个小时，是搞不定的。多出来13张表，也就是说，现在有30张表。执行两次就到我们需要的位置。
阿里系云上离线数仓简单介绍
weixin_44560999的博客
04-28 1164
阿里系云上数仓简单介绍 一、DataHub简介 阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台，提供对流式数据的发布 (Publish)，订阅 (Subscribe)和分发功能，DataHub服务也提供分发流式数据到各种云产品的功能，目前支持分发到MaxCompute(原ODPS)，OSS等。 DataHub作为一个流式数据处理服务，结合阿里云众多云产品，可以构建一站式的数据处理服务。 二、MaxCompute简介 MaxCompute（原ODPS）是一项大数据计算
阿里云离线数据仓库
保持饥饿 保持愚蠢
02-07 3768
阿里云离线数据仓库第1章 数据仓库概念第2章 项目需求及架构设计2.1 项目需求分析2.2 阿里云技术框架2.2.1 技术选型2.2.2 系统数据流程设计第3章 数据生成模块3.1 埋点数据基本格式3.2 事件日志数据3.2.1 商品列表页（loading）3.2.2 商品曝光（display）3.2.3 商品详情页（newsdetail）3.2.4 购物车（cart）3.2.5 广告（ad）3.2.6 消息通知（notification）3.2.7 评论（comment）3.2.8 收藏（favorite
阿里云服务搭建离线数据仓库（一）
a5305601的博客
02-09 4265
使用到的阿里云服务： DTS：数据同步，可以做数据增量与全量同步，增量同步是监控MySql的binlog日志做的增量。 DataWorks:集调度运维一体化平台，可以调度已创建好的任务，有自己的调度中心和运维中心、数据中心。 MaxCompute:离线数据计算引擎，类似于spark、flink，只不过MaxCompute(简称：MC)是阿里云自己开发的计算引擎，目前MC服务已覆盖全球16个国......
离线数据仓库
小道的博客
02-12 4669
离线数据仓库知识点
大数据MaxCompute教程（阿里云离线数仓项目）学习笔记20231127
简单的记录一下
11-27 1334
是为企业所有决策制定过程，提供所有系统数据支持的战略集合。AI：数据仓库是一个大型、集中、主题导向的数据库系统，用于支持企业决策制定、分析和报告的需要。它统一了来自不同数据源的数据，并将其在一个可查询的数据模型中进行了整合和转换，以便于分析和报告。数据仓库还包括数据清洗、抽取、转换和加载（ETL）的过程，以保证数据的准确性、一致性和完整性。数据仓库有助于企业在从历史数据中发现趋势、分析业务绩效和制定策略时更加高效和精确。数据仓库VS传统数据存储。
基于阿里云搭建离线数据仓库（离线数仓）.pdf
07-04
基于阿里云搭建数据仓库（离线）.pdf基于阿里云搭建数据仓库（离线）.pdf基于阿里云搭建数据仓库（离线）.pdf基于阿里云搭建数据仓库（离线）.pdf基于阿里云搭建数据仓库（离线）.pdf基于阿里云搭建数据仓库（离线）...
阿里云生态离线数仓
weixin_42322991的博客
12-06 1155
1. 大数据开发治理平台DataWorks1. 大数据开发治理平台DataWorks功能齐全：10多年大数据建设沉淀完整的平台，覆盖数据开发治理的全生命周期简单易用：全图形化界面，SQL为主的数据开发方式安全稳定：双11日千万级任务稳定调度，金融级数据安全保障开放兼容： 支持多种大数据引擎绑定，开放OpenAPI定制化对接能力。
基于阿里云搭建数据仓库（离线）.pdf
12-26
1）学习搭建一个数据仓库的过程，理解数据在整个数仓架构的从采集、存储、计算、 输出、展示的整个业务流程。 2）整个数仓体系完全搭建在阿里云架构上，理解并学会运用各个服务组件，了解各个 组件之间如何配合联动。 3）前置知识要求  熟练掌握SQL语法  熟悉Linux命令  对Hadoop大数据体系有一定的了解
kafka 简单使用（附阿里云kafka使用）
04-02
（阿里云kafka使用时需要结合阿里云提供的认证部分，另外上传文件时，阿里云kafka还在公测期间）；如果你够厉害，而且数据规模足够，可以使用storm+kafka，彼时kafka当然就不会这么简单的使用了。
云原生离线实时一体化数仓建设与实践
阿里云云栖号
05-17 1266
简介：本篇内容分享了云原生离线实时一体化数仓建设与实践。 分享人：刘一鸣 Hologres 产品经理 视频链接：数据智能实战营-北京站 专题回顾 正文： 本篇内容将通过五个部分来介绍云原生离线实时一体化数仓建设与实践。 一、离线实时一体化数仓建设难点 二、离线实时一体化数仓技术演化 三、阿里巴巴离线实时一体化数仓建设实践 四、离线实时一体化数仓参考架构 五、未来实时数仓核心趋势展望 一、离线实时一体化数仓建设难点 随着时代的发展，数据分析由通过实时大屏洞察业务变化，逐步转向数据决策和
实战-基于阿里云搭建数据仓库（离线与实时）
liuaaawen的博客
03-25 2666
离线： 数据
基于阿里云的数据仓库架构设计
蒋含竹的博客
03-27 6794
文章目录基于阿里云的数据仓库架构（未完）产品对比离线数仓实时数仓 基于阿里云的数据仓库架构（未完） 产品对比 阿里云产品 同类产品 简介 RDS MySQL、PostgreSQL 关系型数据库服务，是阿里提供的云数据库，有各种版本，例如MySQL版、PostgreSQL版、SQLServer版等 DTS Canal、DataX、Sqoop、Flume 数据传输服务，功能丰富，包........................
基于阿里云的海量数据处理数据仓库（离线）实战教程
11-01
一、项目简介 本项目教程以国内电商巨头实际业务应用场景为依托，同时以阿里云ECS服务器为技术支持，紧跟大数据主流场景，对接企业实际需求，对电商数仓的常见实战指标进行了详尽讲解，让你迅速成长，获取最前沿的技术经验。 二、项目架构 版本框架：Flume、DateHub、DataWorks、MaxCompute、MySql以及QuickBI等； Flume：大数据领域被广泛运用的日志采集框架； DateHub：类似于传统大数据解决方案中Kafka的角色，提供了一个数据队列功能。对于离线计算，DataHub除了供了一个缓冲的队列作用。同时由于DataHub提供了各种与其他阿里云上下游产品的对接功能，所以DataHub又扮演了一个数据的分发枢纽工作； 据上传和下载通道，提供SQL及MapReduce等多种计算分析服务，同时还提供完善的安全解决方案； DataWorks：是基于MaxCompute计算引擎，从工作室、车间到工具集都齐备的一站式大数据工厂，它能帮助你快速完成数据集成、开发、治理、服务、质量、安全等全套数据研发工作； QuickBI & DataV：专为云上用户量身打造的新一代智能BI服务平台。 三、项目场景 数仓项目广泛应用于大数据领域，该项目技术可以高度适配电商、金融、医疗、在线教育、传媒、电信、交通等各领域； 四、项目特色 本课程结合国内多家企业实际项目经验。从集群规模的确定到框架版本选型以及服务器选型，手把手教你从零开始搭建基于阿里云服务器的大数据集群。采用阿里云ECS服务器作为数据平台，搭建高可用的、高可靠的Flume数据采集通道，运用阿里云DateHub构建中间缓冲队列并担任数据分发枢纽将数据推送至阿里自主研发的DataWorks对数据进行分层处理，采用MaxCompute作为处理海量数据的方案，将计算结果保存至MySQL并结合阿里的QuickBI工作做最终数据展示。
阿里云数据中台核心引擎
hsabrina的博客
05-13 3777
数据中台、阿里数据中台、产品+技术+方法、数据仓库、OLTP&OLAP
解码OneData，传说中的阿里数据中台是如何练成的？
weixin_34185512的博客
10-15 1561
2019独角兽企业重金招聘Python工程师标准>>> ...
附PPT|阿里巴巴实时数仓最新架构图
wujiandao的专栏
08-26 1985
1优酷大数据olap选型分享嘉宾：五羖,阿里文娱技术专家分享大纲：大数据给传统数据技术带来的挑战 市面上各类大数据OLAP技术方案一览优酷不同业务场景的OLAP选型2网...
中小型公司搭建离线数仓阿里云服务器规模配置
最新发布
03-22
<think>好的，用户想了解中小型公司在阿里云上搭建离线数仓所需的服务器规模及配置推荐。首先，我需要回顾一下相关知识，特别是关于数据仓库的服务器配置和规模规划。 记得参考引用[3]中提到的集群规模计算方法，用户可能需要类似的思路。根据案例，每天处理1亿条日志，每条1K，总数据量约100G，存储半年需要约77T，考虑三副本和缓冲区，大约需要10台8T磁盘的服务器。不过中小型公司的数据量可能更小，需要调整参数。 接下来，用户可能的数据量是多少呢？假设中小型公司日活用户是10万左右，每人每天产生100条日志，那么每天的数据量是10万*100=1000万条，每条1K的话，每天是约10G。半年下来是10G*180=1.8T，加上三副本和缓冲，总存储需求大约1.8T*3=5.4T，再除以0.7，约7.7T。这样磁盘需求大概是8T左右，可能只需要2-3台服务器，但需要考虑计算资源，比如内存和CPU。 另外，阿里云的产品选择也很重要。MaxCompute适合大数据处理，EMR可以管理Hadoop生态组件，OSS适合存储冷数据。需要推荐具体的ECS实例类型，比如计算优化型c6或内存优化型r6，根据数据处理需求选择。 还要考虑离线数仓的组件，比如Hive、HDFS、Spark等，这些组件对内存和CPU的要求。例如，Hive的元数据存储可能需要RDS MySQL，而HDFS需要足够的磁盘空间和网络带宽。 用户可能还关心成本优化，比如使用按量付费或预留实例，以及存储分层策略，将冷数据转移到OSS节省成本。同时，是否需要高可用配置，比如多可用区部署，但中小型公司可能可以适当降低这方面的要求以节省费用。 最后，需要给出一个具体的配置示例，比如使用4台ECS，计算型实例，搭配OSS和RDS，并给出分层的存储建议。同时提醒监控和弹性扩展的重要性，确保资源利用率。</think>### 中小型公司阿里云离线数仓服务器配置推荐 #### 1. **数据规模估算** 根据引用[3]的集群资源规划逻辑，假设中小型公司日活跃用户约 **10万**，每人每天产生 **50-100条日志**，则： - **日数据量**：$10万 \times 100条 \times 1KB = 10GB$ - **半年存储需求**（3副本 + 30%缓冲）： $$ \frac{10GB \times 180天 \times 3}{0.7} ≈ 8TB $$ #### 2. **服务器配置建议** - **计算节点（ECS）**： - **实例类型**：推荐 **计算型 ecs.c6**（如4核16GB）或 **通用型 ecs.g6**（如8核32GB）[^3] - **数量**：**3-4台**，满足分布式计算（Hive/Spark）和存储（HDFS）需求 - **磁盘**：每节点挂载 **1-2TB高效云盘**（根据数据冷热分层） - **存储与计算分离**： - **热数据**：HDFS部署在ECS本地盘（高效云盘） - **冷数据**：迁移至 **OSS** 存储降低成本[^2] - **元数据管理**： - **RDS MySQL**：基础版（1核2GB）管理Hive元数据 - **MaxCompute**：按量付费处理ETL任务，减少本地计算压力 #### 3. **典型架构示例** ``` 数据采集层：Log Service（日志投递至OSS） 计算层：EMR集群（3台ECS.g6 + 1台Master节点） 存储层：OSS（原始数据） + HDFS（中间表） 调度层：DataWorks（任务编排） ``` #### 4. **成本优化策略** - **弹性伸缩**：非高峰时段缩容ECS节点 - **存储分层**：7天以上数据转存OSS低频存储 - **预留实例券**：长期运行节点使用RI降低成本 #### 5. **注意事项** - **网络带宽**：ECS节点建议选择 **1Gbps内网带宽** - **高可用**：Master节点部署在多个可用区（如生产环境） - **监控**：通过云监控（CloudMonitor）跟踪CPU/内存/磁盘利用率 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值