数据仓库ODS、DWD、DWS、ADS各层介绍 1. ODS（Operational Data Store，操作型数据存储）‌ODS层是数据仓库体系结构的最底层，主要用于存储从各个操作系统采集来的原始数据。它作为数据仓库的临时区域，经过ETL（抽取、转换、加载）过程后，将数据源中的数据抽取、洗净并传输到ODS层。ODS层的主要功能是为后续的数据仓库层（如DWD层）提供原始数据，同时减少对业务系统的影响。2. DWD（Data Warehouse Detail，数据仓库明细层）DWD层是数据仓库的明细层，用于存储详细、完整的数据。

阅读 3.6k

31赞

收藏 39
【数据仓库】数据仓库常见的数据模型——维度模型 星型模型的设计思路源自于对多维数据模型的需求，即通过简化数据结构来支持快速的查询操作。例如，一个数据仓库可能同时包含销售和库存的星型模型，这些模型共享时间和产品维度表，从而形成一个星座结构。事实表包含了可度量的数据，如销售额或利润，而维度表则包含了描述这些数据的属性，如时间、地点或产品类型。：星型模型具有较好的查询性能，因为所有的维度信息都存储在维度表中，减少了表的连接操作，查询优化相对容易，能快速处理大量数据。：星型模型的结构简单明了，易于理解和查询，适用于简单的分析需求。

阅读 2.4k

17赞

收藏 38
一文读懂数据仓库构建流程（超详细） 本文可以让您初步掌握数仓架构设计和从0到1搭建数仓有个理论支持和实际操作步骤。

阅读 3.8k

22赞

收藏 44
数据字典是什么？和数据库、数据仓库有什么关系？ 数据字典是一种对数据的定义和描述的集合，它包含了数据的名称、类型、长度、取值范围、业务含义、数据来源等详细信息。数据字典的主要作用如下：1. 对于数据开发者来说，数据字典包含了关于数据结构和内容的清晰指南，能够让开发者理解数据的含义和用途，从而更准确地进行数据开发和维护工作。2. 对于业务人员来说，数据字典可以帮助理解数据的业务含义，更好地进行数据分析和决策。比如，业务人员在查看销售报表时，可以通过数据字典了解各个指标的定义和计算方法，从而更准确地解读数据。

阅读 1.7w

31赞

收藏 38
基于 Hive 数据仓库的教育大数据分析平台（伪分布式） Hive 数据仓库的教育大数据分析平台

阅读 3.3k

47赞

收藏 90
数据湖与数据仓库融合：Hudi、Iceberg、Delta Lake 实践对比 在数据湖与数据仓库边界不断融合的背景下，企业越来越多地采用如Hudi、Iceberg、DeltaLake等开源方案，以实现统一的数据存储、计算和分析平台。这些方案在实时写入能力、ACID保证、增量数据处理、流批一体、Schema演进等方面展现出独特优势。本文详细对比了Apache Hudi、Apache Iceberg和DeltaLake这三大主流开源方案的主要特性，包括写入模式、并发写支持、实时查询、事务支持、Schema进化、引擎兼容性及Metadata管理。此外，文章还提供了典型应用场景的推荐方案、性

阅读 533

10赞

收藏 0
数仓案例-大型电商企业的数据仓库实战：Hadoop体系下的维度建模与精细化运营之道 电商数仓案例。数据仓库建设中，从业务流程分析到最终明确统计指标的完整路径可概括为：首先通过业务调研梳理核心业务流程（如电商的订单创建、支付、发货等关键节点），基于业务过程的相关性和连续性划分主题域（如交易域、会员域等），并构建总线矩阵明确各业务过程与维度的关联关系（如“确认收货”过程关联商品、地域等维度）；- ‌基础设施层‌：提供分布式存储（如HDFS）和计算引擎（如Spark），支撑海量数据的高效处理与存储。‌查看商品详情‌：用户点击感兴趣的商品，进入商品详情页面，查看商品的详细信息，如价格、规格、评价等

阅读 1.2k

27赞

收藏 21
Android系统开发 给system/app传包报错 分区通常是只读的（Read-only file system），这意味着普通用户或应用程序无法直接修改该分区的内容。如果APK需要作为系统应用运行，可能需要使用系统签名密钥对APK进行签名。目录：your_app.apk（apk据绝对路径）分区可能会导致设备无法启动，建议提前备份重要数据。分区可能会导致设备变砖（无法启动），请谨慎操作。某些设备可能需要将APK文件放入。不是所有设备都支持将APK文件直接放入。如果设备未Root，无法完成此操作。要解决这个问题，你需要将。修改文件权限并重启设备。

阅读 946

6赞

收藏 1
从数据仓库到数据中台再到数据飞轮：社交媒体的数据技术进化史 大家好，我是在大数据方面具有一定理解的博主。今天我想分享下从数据仓库到数据中台再到数据飞轮:社交媒体的数据技术进化史，也是这篇文章主题。我亲眼目睹了社交媒体的快速发展，以及随之而来的海量数据的生成与积累。如何有效地管理和利用这些数据，已经成为各大平台在竞争中脱颖而出的关键因素。在我看来，随着技术的进步，社交媒体的数据管理经历了一次深刻的变革，从最初依赖数据仓库，到逐步引入数据中台，再到如今的数据飞轮。这不仅仅是技术手段的演进，更是平台在数据战略、业务决策和用户体验优化方面的一次全面升级。接下来，我想从我的视

阅读 7.7k

125赞

收藏 103
数据仓库和数据湖的区别 而数据湖则是一种原始、未经处理的数据存储，它可以包含结构化、半结构化和非结构化数据，数据以原始格式存储，没有强制的模式和架构。而数据湖通常提供更灵活的数据访问方式，可以使用不同的工具和技术来处理和分析数据，如数据科学家可以使用Python或R来开展分析工作。在实际应用中，可以将数据湖作为底层的数据存储，用于存储原始数据和大规模的数据，然后从数据湖中提取、转换和加载数据到数据仓库中，用于特定的分析和报告需求。5.数据规模：数据仓库通常用于存储中等到大规模的数据，但是数据的规模和结构通常是有限的。

阅读 2.7k

23赞

收藏 15
数据仓库Hive 数据仓库、数据湖和湖仓一体是现代数据管理中的核心概念。数据仓库是面向主题、集成、稳定且反映历史变化的数据集合，主要用于支持管理决策，其结构包括数据源、数据存储、OLAP服务器和前端工具。数据仓库与数据库的主要区别在于前者专注于分析和大数据处理，而后者擅长事务处理。数据湖则是一种存储原始数据的系统，能够容纳结构化、半结构化和非结构化数据，适合数据科学家和开发人员进行探索性分析和机器学习。数据湖与数据仓库的区别在于数据湖存储所有类型的数据，而数据仓库仅存储结构化数据。湖仓一体是一种新型架构，结合了数据仓库的高性

阅读 1.2k

19赞

收藏 34
数据库领域数据仓库的监控与维护要点 数据仓库作为企业决策支持的核心系统，其监控与维护直接影响数据分析的可靠性和业务响应效率。本文从数据仓库的本质特征（大规模数据存储、复杂ETL流程、高频分析查询）出发，构建"理论-架构-实现-应用"的四维分析框架，系统阐述监控指标设计、异常检测机制、维护策略优化的关键技术点。通过分层拆解（从元数据层到查询层）、多视角评估（技术性能/业务影响/成本效益），结合生产环境典型案例，为数据工程师提供可落地的监控体系搭建指南与维护最佳实践。系统复杂度↑×业务需求变化率↑÷运维资源有限性关键风险点。

阅读 848

7赞

收藏 12
作者推荐
chimchim66
火火要努力变强啊。。。
关注
出发行进
纸上得来终觉浅，绝知此事要躬行。
关注
想做富婆
，
关注
谷云科技RestCloud
应用及数据集成专家，专注应用集成、数据集成、SaaS集成、API生命周期管理等领域
关注
自然术算
道阻且长，行则将至； 行而不辍，未来可期。
关注
数字天下
计算机专业，毕业后从事转件开发工作16年，对oracle ，mysql 数据库熟悉。熟悉银行业务，做过数据治理、数仓项目。 最擅长的是数据管理，计算机知识，金融理财。对数码、情感、美食、影视领域也有所擅长。爱好广泛 致力于知识变现、副业的探索
关注
公子乂
我很懒，什么都不想写。。。
关注
james二次元
分享大数据及AI相关技术，每天进步一点点，和大家一起学习、一起进步！
关注
lfwh
一个人可能走得更快，但是一群人会走得更远
关注
摇光~
逆风翻盘，向阳而生，以不屈不挠之志，书写人生华章。
关注