离线数仓的经验

原创

已于 2022-03-12 12:34:14 修改 · 1.1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#linux #数据仓库

于 2021-11-23 23:53:29 首次发布

ods层

经验:
1.保持数据原貌不做任何修改，起到备份数据的作用
2.创建分区表，防止后续的全表扫描,提高效率
3.可以采用lzo压缩, 减少磁盘空间的使用

相关技术:

CREATE EXTERNAL TABLE ods_event_log(`line` string)
PARTITIONED BY (`dt` string)
STORED AS
  INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

First_____

关注关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

精选资源

车险离线数仓项目.txt

09-07

### 车险离线数仓项目概述在大数据领域，构建有效的数据仓库（Data Warehouse，简称DW或DWH）是实现数据驱动决策的关键步骤之一。车险离线数仓项目是一个典型的数据仓库构建案例，它主要应用于汽车保险行业的数据...

精选资源

DOE大型离线数仓与用户画像系统

09-09

分享离线数仓课程——《DOE大型离线数仓与用户画像系统》，2022年8月完结新课，一共19天的课程，提供课程配套的源码+文档下载！！ DOE大型离线数仓与用户画像系统课程将带领大家从零搭建一个完整的大数据数仓系统 ...

参与评论您还未登录，请先登录后发表或查看评论

离线数仓项目

li1579026891的博客

11-27

3379

离线数仓分为ods、dwb、dwd、dws、dm层遇到问题及解决方案 1、创建udf函数创建udf函数的时候需要对数据进行过滤，否则会报异常在进行创建udf函数的时候一定要用打包插件，否则也会报错 2、在运行mr的时候进行数据插入的时候报reduce异常，主要原因是前数据表中没有数据注意是：在进行mr的时候一定不要空的数据或者数据的字段为null，否则都会报错，网上说的是内存溢出（并不一定） 3、在进行hive表中的数据插入到mysql中的时候会出现编码异常 1、在结果集数据库中设

数据仓库经验小结

weixin_34085658的博客

09-15

484

数据仓库经验小结以主题域规划DW 主题域包含了某方面决策者关注的事物。一个主题域通常会覆盖多个业务部门，例如产品主题域涉及到销售、财务、物流、采购等部门。主题域下包括了主题，例如产品主题域中包括成本、发运、库存等主题。主题域模型是对业务模型的抽象，需要从决策者和管理者的角度反映企业业务模型。决策者不需要了解每个部门详细的业务细节；销售部门的管理者需要知道产品的...

大数据数仓建模 - 维度建模实战及思路过程（四年数仓建模经验纯干货）

qq_52095156的博客

10-19

4856

数仓维度建模维度建模方法论: 维度建模是以业务过程为驱动先确定某些业务过程围绕业务过程去建立模型通常采用自底向上的方法从明确关键业务过程开始再到明确粒度最后明确事实在我们项目初期我们首先要确定的就是一个数仓建模的设计建模也是整个数仓最核心的工作数仓的好坏就取决于你的建模数仓建模四个步骤 1. 选择业务过程 2.声明粒度 3.确定维度 4.确定事实我们在建模的过程中首先要和公司的业务部门开个小会一起探讨选择我们感兴趣的业务线比如...

有赞实时数仓建设实践与经验

过往记忆大数据

07-11

793

作者：小君部门：技术中台/数据中台前言随着实时技术的不断发展和商家实时应用场景的不断丰富，有赞在实时数仓建设方面做了大量的尝试和实践。本文主要分享有赞在建设实时数仓过程中所沉淀的经验，...

实时数仓：咸鱼的实时数仓经验分享

GIS摆渡人

07-29

1100

闲鱼作为一款闲置交易APP，在二手交易市场中是当之无愧的佼佼者。用户反馈商品曝光异常，如何快速定位？产品同学圈了一批商品，如何查看该样本的实时报表？发现问题总是晚一步，如何在第一时间获取自定义的预警信息？为了解决上述的这些问题，我们开始了打造闲鱼实时数仓的探索之路。...

精选资源

企业级电商离线数仓项目-2022

07-22

企业级电商离线数仓项目-2022 根据提供的文件信息，我们可以将其总结为以下几个方面的知识点： 1. 数据仓库的概念和历史发展 数据仓库的概念首次被提出是在1988年，由IBM公司提出。1991年，Bill Inmon出版了他的...

精选资源

DOE大型离线数仓与用户画像系统课程分享2022

09-09

"DOE大型离线数仓与用户画像系统课程分享2022"是一个针对大数据处理领域的深度学习资源，旨在帮助学员掌握如何构建高效、实用的离线数据仓库以及用户画像系统。这个课程包含19天的视频教学，同时提供了源代码和相关...

黑马Hive+Spark离线数仓工业项目--项目总结

技术专家

01-04

2571

黑马Hive+Spark离线数仓工业项目--项目总结

超干货 |（实战经验）结合公司业务分析离线数仓建设实践

yuan_more的博客

02-26

2910

前言技术是为业务服务的，业务是为公司创造价值的，离开业务的技术是无意义的业务介绍公司属于金融科技ToC企业，针对不同需求的用户开发不同的产品，所以公司内部有很多条业务线，但是对于数据部门来说，所有业务线的数据都是数据源。对数据的划分不只是根据业务进行，而是结合数据的属性。早期规划之前开发是不同业务线对应不同的数据团队，每个数据团队互不干扰，这种模式比较简单，只针对自己的业务线进行数仓建设及报表开发即可。但是随着业务的发展，频繁迭代及跨部门的垂直业务单元越来越多，业务之间的出现耦合情况，这时.

数据仓库建设经验

weixin_33915554的博客

01-02

750

前言：由于环境因素，得跳槽了，所以写点纪念性的东西，以下为之一。 数据仓库的建设是一个巨大的工程，按照仓库的理论思想和我自己实际的仓库建设过程，我觉得数据仓库最好分为六层的设计思想来构建和实施：一，源数据层源数据层的目的是为数据仓库提供数据来源，它的数据来自于仓库外部，如企业各应用系统，各部门的源数据，企业的外围数据，如行业标准...

数据仓库开发经验分享

zhangliushi的博客

09-27

1115

文章目录前言一、什么是数据仓库二、数据仓库和数据库的区别三、数据仓库分层架构（一）ODS（二）DIM（三）DWD（四）DWS（五）ADS四、数据仓库建模方法（一）星型模型（二）雪花模型前言分享本人在数据仓库开发工作中遇到的问题及经验总结。一、什么是数据仓库 因为数据库中的数据繁多、关系复杂且不能保证数据质量，为解决这样的问题，就诞生了数据仓库的概念。数据仓库是指将各种来源的数据统一接入到某个单一环境，对数据进行清洗，汇总并妥善保存以便支撑相关数据应用的方式。二、数据仓库和数据库的区别 数据仓库与

离线项目（三）数据仓库的设计

ITgagaga的博客

11-14

1112

离线项目（三）数据仓库的设计文章目录离线项目（三）数据仓库的设计一：数据仓库的分层ODS 层DWD层DWS层ADS层二：关于数据仓库和数据集市1.**数据仓库**：2.**数据集市**：3.数据仓库和数据集市的区别：三：数仓模型（星型模型和雪花模型）1.星型模型2.雪花模型四：项目相关1.分层ODS层：DWD层：DWS层：5.按照来源维度进行统计和分析ADS层：一：数据仓库的分层 ODS 层...

50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 下

yuan_more的博客

03-02

6526

数仓建设保姆级教程

六、数据仓库详细介绍（ETL）经验篇

潜行者

05-24

3692

日常工作中大多数时候都是在做数据开发，ETL 无处不在。虽然最近两年主要做的大数据开发，但感觉日常干的这些还是 ETL 那点事儿，区别只是技术组件全换了、数据量大了很多。前几年数仓势微，是因为传统的那些工具数据库等无法解决数据量进一步膨胀带来的计算问题，大数据火爆也是因为当时大数据开发门槛很高。可是最近两年随着大数据技术的成熟开发门槛越来越低了，数据仓库反而重新火起来了。ETL 的事情就跟 SQL 一样入门很简单，但真要熟练运用也没那么容易，因为这两类技能仅靠理论学习很难掌握，必须不断的实践堆积才行。

6.数仓项目经验—配置lzo压缩

weixin_45267102的博客

09-08

419

配置lzo压缩 1. 为什么配置lzo压缩？ HADOOP数据压缩编译hadoop-lzo-0.4.20.jar #Hadoop支持LZO #环境准备 #maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像） gcc-c++ zlib-devel autoconf automake libtool #通过yum安装即可 yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool ##1. 下载、安装并

离线电商数仓-用户行为采集平台-第2章项目需求及架构设计

书程序乐园

10-18

929

离线数仓5.0的学习记录

PB级企业电商离线数仓项目实战【上】

BetterKunPeng的博客

06-26

1824

第一部分 数据仓库理论第1节 数据仓库 1.1 什么是数据仓库 1988年，为解决全企业集成问题，IBM公司第一次提出了信息仓库（InformationWarehouse）的概念。数据仓库的基本原理、技术架构以及分析系统的主要原则都已确定，数据仓库初具雏形。1991年Bill Inmon（比尔·恩门）出版了他的第一本关于数据仓库的书《Building theData Warehouse》，标志着数据仓库概念的确立。书中指出，数据仓库(DataWarehouse)是一个面向主题的(Subject O

离线数仓答辩

最新发布

06-11

### 离线数仓的基本原理 离线数仓（Offline Data Warehouse）是一种用于存储和分析大规模历史数据的系统，其主要目的是支持复杂的查询和数据分析任务。离线数仓的核心原理在于通过批量处理的方式对大量数据进行存储、清洗、转换和分析[^2]。它通常采用分层架构设计，以提高数据处理效率和灵活性。 离线数仓的设计遵循“结论先行”的原则，即在构建数仓之前明确业务需求和目标。这种设计方法强调先总结后具体、先框架后细节，类似于金字塔原理中的逻辑结构[^1]。为了确保每一层的数据支撑具有高度的完整性，离线数仓在数据划分时需要满足MECE原则（Mutually Exclusive, Collectively Exhaustive），即不重叠、不遗漏。 ### 离线数仓的架构设计 离线数仓的架构通常分为以下几个层次： 1. **数据采集层**：负责从各种数据源（如数据库、日志文件、外部API等）中收集原始数据，并将其传输到数仓系统中[^3]。 2. **数据存储层**：提供大规模数据的存储能力，常见的存储技术包括HDFS（Hadoop Distributed File System）、Amazon S3等。这一层的设计需要考虑数据的分区、压缩和格式化问题，以优化存储成本和查询性能[^4]。 3. **数据加工层**：对采集到的原始数据进行清洗、转换和聚合操作。这一过程通常使用批处理框架（如Apache Spark、Apache Hive）来实现。数据加工的目标是生成适合分析的中间结果或汇总报表[^5]。 4. **数据服务层**：为上层应用提供数据访问接口，支持OLAP（Online Analytical Processing）查询和可视化展示。这一层可能涉及数据建模、维度表设计以及ETL（Extract-Transform-Load）流程的定义[^6]。 ```sql -- 示例：离线数仓中的ETL脚本 INSERT INTO fact_sales_summary SELECT product_id, SUM(sales_amount) AS total_sales, COUNT(*) AS transaction_count FROM raw_sales_data GROUP BY product_id; ``` ### 离线数仓的设计要点在设计离线数仓时，需要关注以下几个关键点： - **数据模型设计**：选择合适的模型（如星型模型或雪花模型）来组织事实表和维度表，以便于高效查询和分析[^7]。 - **性能优化**：通过合理设置数据分区、索引和压缩策略，减少查询延迟并提高吞吐量[^8]。 - **数据质量保障**：建立数据校验机制，确保数据的一致性和准确性。例如，可以通过数据血缘分析工具跟踪数据流转路径，及时发现潜在问题[^9]。 - **扩展性与可维护性**：设计灵活的架构，支持未来业务增长和技术升级的需求。同时，制定清晰的文档和规范，降低系统的维护成本[^10]。 ### 答辩要点在准备离线数仓的答辩内容时，可以围绕以下方面展开： 1. **背景与意义**：阐述离线数仓在企业数字化转型中的作用，以及如何帮助企业解决大数据分析中的挑战[^11]。 2. **架构设计**：详细介绍数仓的分层架构及其各层的功能定位，结合实际案例说明设计决策的依据[^12]。 3. **关键技术**：介绍所使用的开源工具或商业产品（如Hadoop、Spark、Flink等），并分析其优缺点及适用场景[^13]。 4. **实施难点**：讨论项目实施过程中可能遇到的技术难题（如数据一致性、性能瓶颈等），并提出相应的解决方案[^14]。 5. **成果与价值**：总结项目的成果，包括性能指标提升、业务价值创造等方面的具体数据[^15]。