数据仓库、数据集市、数据湖

原创 已于 2023-07-05 14:16:07 修改 · 74 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据仓库

于 2023-07-05 14:13:03 首次发布
数据湖与数据仓库的区别在于数据管理的理念，数据湖被比喻为“市场经济”，允许更自由的数据探索和使用，而数据仓库则像“计划经济”，有预定义的结构和用途。文章提到，数据湖强调灵活性，适合处理非结构化数据，而一些人可能认为它只是数据仓库技术的重新包装。AWS的数据湖解决方案被引用作为实例进行讨论。

数据湖与数据仓库的根本区别，在于前者是“市场经济”，而后者是“计划经济” - 哔哩哔哩来源：与数据同行作者：傅一平很多同学跟我一样，对于数据湖充满好奇，也许还读了不少数据湖文章，有不觉明历的，也有认为是概念炒作的，但无论别人怎么说，你还是会觉得难以把握数据湖的本质。有些人会望文生义说，数据湖嘛，就是什么东西都可以往里面扔，特别是对非结构数据的处理比较方便。是这样吗？有案例才有鉴别，有的人找了数据湖的始作俑者AWS来说明数据湖是什么东西，比如下图：但光看产品的介绍，不懂数据的人也许会觉得数据湖很厉害，而懂数据的人也许会觉得仅是一堆数据仓库技术的堆砌包装而已，你看上面那张框架图，哪个https://www.bilibili.com/read/cv10684304/数据存储层次结构：湖、仓库和市场 - 知乎


数据湖与数据仓库的根本区别，在于前者是“市场经济”，而后者是“计划经济” - 哔哩哔哩

百度安全验证https://baijiahao.baidu.com/s?id=1675428542212439719&wfr=spider&for=pc

走向自由
关注
【数据仓库-9】-- 数据仓库、数据集市和数据湖的区别
欢迎来到我的博客，一起探索代码里的世界！
04-03 577
零售行业销售数据集市通常包含销售记录、库存信息、客户数据等结构化和半结构化数据。数据集市主要用于部门级别的数据分析和报表制作，如分析特定地区的销售业绩、某一门店的库存状态等。零售行业销售数据集市具有适度组织化的数据模式，适度扩展性，并且可能具有适中的存储和计算成本。社交媒体数据湖通常包含用户生成的文本、图片、视频等结构化、半结构化和非结构化数据。这些数据在数据湖中可以直接进行处理和分析，例如ELT或ETL操作。社交媒体数据湖支持多种数据模式和类型，具有高度可扩展性和弹性，并且可能具有较低的存储和计算成本。
一文了解数据库，数据仓库，数据湖，数据集市，数据湖仓
giszz的博客
01-16 3341
数据库，数据仓库，数据湖，数据集市，数据湖仓的相同点和区别。
数据湖数据仓库数据集市数据清理以及DataOps
纸上得来终觉浅，绝知此事要躬行
10-08 2589
一提到大数据我们就知道是海量数据，但是我们并不了解需要从哪些维度去考虑这些数据的存储。比如 数据湖、数据仓库、数据集市，以及数据自动化应用DataOps有哪些实现方式和实际应用，这篇文章将浅显的做一次介绍。
数据仓库 vs 数据集市
weixin_43156294的博客
08-20 2128
数据仓库（Data Warehouse）和数据集市（Data Mart）
大数据存储架构详解：数据仓库、数据集市、数据湖、数据网格、湖仓一体
热门推荐
Shockang的博客
07-03 1万+
本文以文字+思维导图+表格的形式详解了数据库、数据仓库、数据集市、数据湖、数据网格、湖仓一体之间的区别。
数据仓库、数据集市、数据湖、数据中台这些概念
xylf1988的专栏
12-07 2981
原来各个数据孤岛中的数据，可能会在物理位置（比如沃尔玛在各个州可能都有自己的数据中心）、存储格式（比如月份是数值类型，但但天气可能是字符类型）、商业平台（不同数据库可能用的是Oracle数据库，有的是微软SQL Server数据库）、编写的语言（Java或者Scale等）等等各个方面完全不同，数据仓库要做的工作就是将他们按照所需要的格式提取出来，再进行必要的转换（统一数据格式）、清洗（去掉无效或者不需要的数据）等，最后装载进数据仓库。数据中台建立后，会形成数据API，为企业和客户提供高效各种数据服务。
数据集市、数仓、数据湖：一文读懂术语
SunTecTec
04-14 296
5️⃣ 数据网格：数据网格是一种数据架构模式，将数据视为一种产品，强调数据的去中心化管理和分布式所有权。在数据网格中，数据由不同的业务领域或团队辅助管理和维护，各个团队可以独立地开发、部署和管理自己的数据产品，同时通过标准化的接口和协议实现数据的共享和互操作。4️⃣ 数据管道：数据管道是一系列数据处理步骤，用于将数据从一个或多个数据源传输到一个或多个数据目标。3️⃣ 数据湖：数据湖是一个大型仓库，用于存储企业各种原始数据，包括结构化数据、半结构化数据和非结构化数据。数据术语大揭秘：数仓、数据湖、数据集市。
数据仓库、数据集市、数据湖、数据海，到底有啥区别？
oOBubbleX的博客
08-14 1237
本文系统解析了数据仓库、数据集市、数据湖和数据海四大数据管理体系的本质区别：数据仓库（DW）是企业级分析核心，实现主题化、集成化的历史数据存储；数据集市（DM）是部门级轻量分析工具，提升业务响应速度；数据湖（Data Lake）存储原始多态数据，支持数据科学探索；数据海（Data Ocean）实现跨组织数据协作，构建生态价值。四者呈递进关系，分别解决数据可信、可用、可挖掘和可协作问题。
数据仓库——数据集市
weixin_46010244的博客
07-20 1451
这里我们先回忆一下数据仓库的定义， 数据仓库(Data Warehouse) 是一个面向主题的(Subject Oriented) 、集成的( Integrate ) 、相对稳定的(Non -Volatile ) 、反映历史变化( Time Variant) 的数据集合用于支持管理决策。今天我们介绍一个在数仓中非常常见的概念——数据集市，数仓定义中的五个特性都值得一一仔细品味，随着你对数仓的理解加深，你对这个五个特性的理解也会更加全面。
什么是数据仓库、数据集市和数据湖？
jane9872的博客
04-14 502
每个部门自身也有对业务数据进行处理分析统计的需求，但不涉及到和其他数据，不希望在数据量大的数据仓库进行操作（因为操作慢，而且可能影响到其他人处理数据），所以建立一个新的存储系统，把数据仓库里关联自己的数据存储到这个系统，本质上算是数据仓库的一个子集。这个系统叫做数据集市。早期系统采用数据库来存放管理数据，但是随着大数据技术的兴起，大家想要通过大数据技术来找到数据之间可能存在的关系，所以大家设计了一套新的数据存储管理系统，把所有的数据全部存储到数据仓库，然后统一对数据处理，这个系统叫做数据仓库。
数据仓库 vs 数据集市 vs 数据湖 vs 数据中台.pdf
05-19
数据仓库、数据集市、数据湖和数据中台都是大数据领域中的关键组件，它们各自服务于不同的数据管理和分析需求。 数据仓库是一种集中式的数据存储系统，设计目的是为了支持企业的决策制定过程，提供历史数据的分析和...
大数据架构：数据库、数据湖、数据仓库、数据集市、湖仓一体、数据中台
qq_21283897的博客
06-30 2105
数据库、数据湖、数据仓库、数据集市、湖仓一体、数据中台
小聊：银行数据仓库项目中 DEV → SIT → UAT → PRE-PROD → PROD​
qq_37679639的博客
12-12 544
银行数据仓库项目通常包含DEV→SIT→UAT→PRE-PROD→PROD五级环境。其中PRE-PROD环境作为上线前的最后防线，必须与生产环境(PROD)保持完全一致，包括硬件配置、软件版本、网络策略、数据量级等。若两者存在差异，可能导致"测试通过但上线失败"的问题，如性能不足、权限错误或作业超时等。银行通常通过基础设施即代码、配置管理、数据同步等方法来确保环境一致性。PRE-PROD环境的严格验证是避免上线风险的关键环节，需进行全流程测试、性能压测和安全验证，确保测试结果真实反映生产
数据仓库中保障数据质量的关键环节：任务发布后数据校验
weixin_40266856的博客
12-13 1392
在数据仓库的生命周期中，任务发布不是终点，而是数据质量保障的新起点。通过系统性地开展完整性、一致性、准确性三大维度的校验，能够有效防范数据问题蔓延至下游，提升数据可信度与团队协作效率。“宁可慢一点发布，也不要快一点出错。随着数据驱动决策的深入，构建自动化、标准化、可持续的数据校验体系，已成为企业数据治理能力的重要体现。附录：常见数据校验场景速查表场景推荐校验方式新任务首次上线行数比对 + 抽样核对 + 主外键检查字段逻辑变更准确性验证 + 趋势对比历史数据重跑完整性 + 一致性 + 去重检查。
版本 8 里面的 适合做 ODD的 训练
12-17
版本 8 里面的 适合做 ODD的 训练
（40页PPT）咖啡店新媒体营销活动方案43.pptx
12-17
（40页PPT）咖啡店新媒体营销活动方案43.pptx
系统界面工具 12.6.1 安装包
12-17
系统界面工具 安装包 版本号 12.6.1。
猜想证明原始材料20251217
最新发布
12-17
猜想证明原始材料20251217
（41页PPT）百岁之约爱你如今主题光阴的故事晚会老年集体婚礼活动方案44.pptx
12-17
（41页PPT）百岁之约爱你如今主题光阴的故事晚会老年集体婚礼活动方案44.pptx
数据仓库基础：从数据库到数据集市
虽然数据集市在局部提供高效服务，但多个数据集市无法完全替代数据仓库，因为这可能导致数据冗余、不一致和管理复杂性增加。 数据仓库的构建有两种主要方式：自顶向下，从企业全局视角规划；自底向上，从小规模需求...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值