湖仓一体概念快问快答

于 2023-08-01 15:01:39 发布
阅读量338 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/oushukeji/article/details/132042461
版权

概念篇 

问题一

“湖仓一体”是什么？                      

“湖仓一体”是一种新的架构模式，湖仓一体是将数据湖的灵活性和数仓的易用性、规范性、高性能结合起来的融合架构，无数据孤岛。湖仓一体数据存储在数据湖低成本的存储架构之上，既拥有数据湖数据格式的开放灵活性，又继承了数据仓库的高性能、易用性和规范性。

问题二

湖仓一体是伪命题吗？             

当然不是，湖仓一体是一种新的架构模式，虽然它将数据仓库与数据湖的优势充分结合，但它不同于数仓和数据湖的架构。很多新技术和新概念的出现都会伴随着用户的质疑，尤其是在中国数字化快速发展的过程中，甚至出现过昙花一现的新概念，让很多企业投入了无效资源。就湖仓一体这个概念，我们不妨参考下国际权威咨询机构 Gartner 对湖仓一体（Lakehouse）的定位，可以看到湖仓一体正处于快速发展的通道。

图片

Gartner数据管理领域技术成熟度曲线

问题三

湖仓一体貌似是个国外的概念？可能不太适用于中国的国情吧?

有些技术的发展在国内外确实是存在较大差异，比如信息安全技术，APP 等，但在数据库和大数据基础领域，中国与国际的发展非常同步。一个冷知识：由于中国本土存在着非常多的企业有着海量数据需要管理（如四大行、三大运营商、互联网大厂），中国在大规模分布式数据库等方面的技术需求和土壤甚至要超过美国。得益于大型企业的超大数据体量和复杂管理需求，湖仓一体这一技术更可能在中国发展的更快更好。

  问题四   

可不可以理解为“湖+仓=湖仓一体”？             

很多用户误以为湖+仓=湖仓一体，可能是因为湖仓一体整合了湖和仓各自的优势，所以误认为湖仓一体就是原有湖和仓的简单整合而已。

站在技术架构的角度就会更容易理解这个问题，过往建设数据湖采用 Hadoop，建设数仓采用 MPP 数据库，很难想象 Hadoop+MPP=湖仓一体 会是怎样诡异的架构，因为 Hadoop 和 MPP 本身是无法兼容的，只能通过 Hadoop+MPP+统一管理组件 进行逻辑整合，这其实是我们常说的“逻辑湖仓一体”、“湖仓分体”。</

最低0.47元/天 解锁文章
偶数科技
关注
博客
《ANCHOR：区分 “湖仓一体” 和 “湖仓分体” 的锚》
08-03 1313
一、从数据仓库说起1990 年，数据仓库之父比尔·恩门 (Bill Inmon) 率先提出了数据仓库的概念，其专著《建立数据仓库》指出数据仓库为分析决策服务，是一个面向主题的、集成的、非易失的且随时间变化的数据集合。2000 年开始，数据仓库在国内得到了广泛的推广，电信和银行业最早建立起数据仓库。比尔·恩门 (Bill Inmon)业务增长源源不断的产生数据，这些数据存储在业务数据库中，也就是我们常说的 OLTP 数据库。当积压的历史数据越来越多，对业务数据库产生负载，导致业务系统运行速度降低；同时，在日益
博客
技术分享丨你的数据库为什么这么慢？
08-18 336
当你发现数据库查询特别慢的时候，并且从硬件配置、SQL优化和索引等方面都找不出原因，那你可能需要从数据库的计算引擎本身的性能找下原因。数据库的计算引擎性能有多重要？我们可以拿汽车做个简单类比。服务器硬件配置是基础设施，相当于汽车行驶的道路，高速公路和山村土路的行驶效果肯定是不一样的；SQL的查询优化相当于驾驶水平；而数据库计算引擎就相当于汽车发动机，既是数据库性能的源动力，也是各家厂商最核心的技术壁垒。那么，我们就从数据库计算引擎的实现技术探究下如何提高数据库性能。下图是从客户端发出一条SQ
博客
国家数据局正式揭牌，2030年数据要素市场规模或破万亿
11-10 215
国家数据局的成立将有助于强化数据要素制度供给，构建数据流通体系，激活数据生产力，对于构建新发展格局、建设现代化经济体系、构筑国家竞争新优势具有重大意义。数据要素是数字经济的发展基础和关键要素，国家数据局正式揭牌，无论是对于加强数据要素利用，还是完善数据安全治理，都是中国顺应数字经济的特别之举，有助于发展数字经济，抓住全球新一代科技发展浪潮。按照相关文件，国家数据局将负责协调推进数据基础制度建设，统筹数据资源整合共享和开发利用，统筹推进数字中国、数字经济、数字社会规划和建设等，由国家发展和改革委员会管理。
博客
偶数科技亮相2023中国程序员节——数据库技术高峰论坛
11-10 174
为了进一步推动国产数据库技术的发展和应用，本次论坛汇聚了业界专家、学者，围绕多模态、分布式、国产迁移、湖仓一体、开源社区等数据库技术话题开展交流与探讨，增进广大程序员对前沿新技术及应用的深入了解，拓展知识深度。至此，开放格式，一份数据，多个引擎的架构初步形成，这样的“一数多擎”架构形成了可以破局当前企业数据困境的方案——实时湖仓（Realtime Lakehouse）。● 针对结构化数据，需要兼容开放数据格式，兼顾实时查询、离线分析、高并发和高可用的分析引擎，比如偶数的OushuDB。
博客
偶数科技携Skylab实时湖仓数据平台亮相2023全国中小企业数字化转型大会
11-10 341
会议期间，偶数科技等典型企业的数字化转型新技术、新产品、新应用、新模式集聚亮相，系统展示了全国中小企业数字化转型成效。偶数科技Skylab实时湖仓是一个拥有海量数据存储、计算、分析、应用和 AI 能力的数据平台，提供完整的数据管理生态闭环，帮助用户实现批流一体、实时数据处理、自动化机器学习、自助可视化分析和数据资产管理。同时，偶数科技的代表在大会上分享了公司在数字化转型方面的成功案例和独到见解，其在中国移动、国家电网、建设银行等头部企业的最佳实践，引起了参会者的广泛关注和讨论，为与会嘉宾提供了借鉴和启示。
博客
OushuDB 专家认证第四期报名开始啦！
11-10 207
培训课程立足学员的实际工作需求，内容涵盖了 OushuDB 的产品功能、原理和技术讲解，并将理论与实践相结合，模拟各类真实使用场景，将丰富的技术知识与经验传递给学员。OushuDB 是新一代分布式云原生数据库，可轻松构建企业核心数仓、数据集市、实时数仓以及湖仓一体数据平台，拥有众多的技术创新点和广阔的市场前景。未来，偶数科技会更加努力为客户、合作伙伴以及所有数据库爱好者，提供更多具有创新性、实用性、前瞻性的优质培训内容，创造更深远的社会价值。2023年11月9日9:00—11月30日12:00。
博客
从北京到南京：偶数在能源行业的数据迁移实践
10-20 294
由于北京数据中心原来的服务器机型老旧，不兼容南京数据中心即将搭建的新集群，因此本次迁移通过搭建临时集群的方式，在北京数据中心将原有数据文件同步至临时集群，再将临时集群搬迁至南京数据中心，临时集群和南京集群组建新的OushuDB 集群，导入备份数据。除了以上平台能力建设的大幅提升，该客户基于平台开放格式的统一数据存储，还可以选用和优化不同大数据组件（如处理结构化数据、非结构化数据和流式数据的不同计算引擎），可落地的多引擎融合能力，让该客户在能源领域提早布局实时分析和人工智能，抓住数字化转型先机。
博客
大模型、实时需求推动湖仓平台走向开放
10-20 311
IDC 调研显示，企业在数字化商业过程中更加关心利用数据和信息来创造自身竞争优势，因此实现底层统一的数据管理是进行上层资产管理和业务决策分析的关键。以往，由于技术水平的制约和方案的局限性，我们难以实现底层统一的数据管理。因此，为了能用更丰富的数据源训练AI模型，我们以极高的代价将数仓的数据导出；为了实现实时数据处理，我们不惜选择冗长的数据处理链路，造成多份数据和多个计算引擎烟囱林立。
博客
有湖有仓，如何升级到湖仓一体
10-20 213
很多企业在过去的 IT 基础建设过程中，都已经搭建了数据仓库或数据湖，或者两者都有。其中数据仓库一般使用的是传统 Oracle 或者传统 MPP 数据库，如 Teradata 和 Greenplum，数据湖使用 Hadoop 大数据平台。所以在考虑湖仓一体升级改造时，就会有一个疑问——假如企业既有数据湖又有数据仓库，该选择基于湖还是仓进行湖仓一体的升级改造呢？讨论通过湖或者仓进行湖仓一体升级，我们要知道现有的数据湖和数据仓库分别使用的什么架构，然后我们才能知道选择什么路径，使用什么技术。
博客
Gartner发布2023年最新技术成熟度曲线，偶数科技位列湖仓一体代表厂商
10-20 362
Gartner 认为，湖仓一体（Lakehouse）是一个将数据湖的灵活性和数据仓库的规范性、易用性和高性能的特点结合起来的融合基础架构，无物理和逻辑的数据孤岛。曲线由五个部分组成，分别对应了新技术发展的五个阶段：技术刚刚流行的启动期、随着关注度提升的热门关注期、热度下降的低谷期、爬升期、高原期。目前，偶数的湖仓一体已经在金融、电信、能源和互联网等行业中得到应用，同时，其技术优势与成长性也得到了诸如建设银行、中国移动等头部客户的认可。该技术逐步成型，出现了成功的案例，一些敏锐的公司开始跟进。
博客
偶数科技发布实时湖仓数据平台Skylab 5.3版本
10-20 598
近日， 偶数发布了最新的实时湖仓数据平台 Skylab 5.3 版本。Skylab包含七大产品，分别为云原生分布式数据库 OushuDB、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、自动化机器学习平台 LittleBoy、数据工厂 Wasp、数据开发与调度平台 Flow、系统管理软件Lava，在本次的新版本升级中以上全线产品都进行了更新。
博客
偶数科技与白鲸开源完成兼容性认证
08-01 622
WhaleStudio 是白鲸开源科技根据全球领先的 DataOps 理念打造的新一代数据集成调度工具，它由两大核心组件组成，WhaleScheduler 与 WhaleTunnel，将全球领先的调度开发组件与数据集成组件集成在一起提供给用户全球领先的完整解决方案。新一代执行器显著提升批处理和按需即席查询效率，采用计算存储分离架构，解决了传统数据库高成本、高门槛、难维护、难扩展的问题。测试结果显示，双方产品相互良好兼容，稳定运行、安全，同时可以满足性能需求，为企业级应用提供可靠保证。
博客
偶数科技亮相第十届中国中小企业投融资交易会
08-01 629
本届投融会展览面积逾一万平方米，主要参展机构包括中国建设银行、中国工商银行、中国银行、中国农业银行、民生银行、光大银行、广发银行、招商银行、微众银行、北京银行、清源资本、平安普惠、中信建投等几十家金融机构、地方政府展团等参与展示。在大会开幕仪式中，第十二届全国政协副主席、全国工商联原主席王钦敏指出，要坚决贯彻落实党中央决策部署，为中小企业发展营造良好环境，加大对中小企业支持力度，坚定企业发展信心，着力在推动企业创新上下功夫，加强产权保护，激发涌现更多专精特新中小企业。
博客
入选首批共建单位，偶数科技亮相TDBC2023可信数据库发展大会
08-01 139
近日，由中国信息通信研究院、中国通信标准化协会指导，中国通信标准化协会大数据技术标准推进委员会、InfoQ 联合主办的"2023可信数据库发展大会"在京召开，大会发布多项信通院及相关机构在数据库领域的研究成果，其中包括《中国数据库产业图谱（2023）》和数据库应用创新实验室电信行业工作组，偶数科技作为电信行业工作组首批共建单位在会上亮相。下一步，协会将加快推进数据库领域关键技术标准体系研制，充分发挥标准引领作用，助力我国数据库产业高质量发展，共筑数字经济可信底座，为我国数字经济发展做出更大贡献。
博客
偶数科技发布实时湖仓数据平台Skylab 5.3版本
08-01 559
近日， 偶数发布了最新的实时湖仓数据平台 Skylab 5.3 版本。Skylab包含七大产品，分别为云原生分布式数据库 OushuDB、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、自动化机器学习平台 LittleBoy、数据工厂 Wasp、数据开发与调度平台 Flow、系统管理软件Lava，在本次的新版本升级中以上全线产品都进行了更新。
博客
Gartner发布2023年最新技术成熟度曲线,偶数科技位列湖仓一体代表厂商
08-01 228
Gartner 认为，湖仓一体（Lakehouse）是一个将数据湖的灵活性和数据仓库的规范性、易用性和高性能的特点结合起来的融合基础架构，无物理和逻辑的数据孤岛。曲线由五个部分组成，分别对应了新技术发展的五个阶段：技术刚刚流行的启动期、随着关注度提升的热门关注期、热度下降的低谷期、爬升期、高原期。目前，偶数的湖仓一体已经在金融、电信、能源和互联网等行业中得到应用，同时，其技术优势与成长性也得到了诸如建设银行、中国移动等头部客户的认可。该技术逐步成型，出现了成功的案例，一些敏锐的公司开始跟进。
博客
Transformer 要占领地球了，大语言模型最全盘点！
08-01 339
随着最近半年 ChatGPT 火爆全球，基于 Transformer 架构的大语言模型（LLM）逐渐走入大众视野，可以说，Transformer 在AI 领域的影响力绝不亚于变形金刚在科幻领域的影响力。Transformer 的核心思想是使用自注意力机制（Self-Attention Mechanism）来建立序列之间的依赖关系。就在2年前，很多模型主要还是基于长短期记忆（LSTM）和递归神经网络（RNN）的其他变体，而如今大语言模型都是基于 Transformer 的注意力机制。
博客
OushuDB × 东方证券：数据仓库信创国产化最佳实践
05-12 813
OushuDB 在完成国产数仓平台迁移的基础上还在拓展能力和性能方面实现了升级，同时还提供了超出预期的三大能力——实时查询、超高并发、弹性扩容，随着数据化转型的升级，这几类能力变得越来越重要，是未来各行业 IT 建设的必选项。与一个大型金融机构相匹配的，正是东方证券当前管理的海量数据。在系统平台数据迁移与应用迁移试运行阶段，偶数工程师提供了全面的运维技术支持，包括系统故障排错、系统性能调优、系统监控、故障点排查、集群节点故障迁移等，同时完成了东方证券数仓平台性能测试、非功能测试，平台试运行阶段全程保障。
博客
偶数社区投稿丨OushuDB学习实践系列（一）：开一家超市
04-17 491
我也不知道是哪位前辈祖先，但是我们可以想到，第一个开超市的人一定明白了交换的价值，他开超市成功了，并且摸索出了一套基本的规范，后人根据这样的规范，开了类似的场所、店铺，而后逐渐有了市场、有了行业。开了一家超市，你自然就是这个超市的主人，同样的，当你创建数据库后，你就自动成为了这个新数据库的主人（所有者），以后开不开这家超市，是否删除掉这个数据库，都是你来决定。你当时选择开超市，是看到别人开超市赚钱了，有利可图，你才开始做这件事的，并且有了一个比较成熟的市场规范，那么，第一个开超市的人是谁？
博客
如何更好的进行数据管理？10 条建议给到你
04-17 471
真正在数据和查询层面形成一体化架构，彻底解决集群规模和并发受限、非结构化数据无法整合、建模路径冗长、数据一致性弱、性能和时效瓶颈等问题，从而帮助用户彻底规避数据孤岛，优化数据供给能效，有效降低 IT 运维成本和数据管理技术门槛，让企业在数字化转型过程中赢得先机。进而确定数据处理步骤，包括数据提取、数据清洗、数据转换、数据整合、数据加载等。另外，数据完整性可以提高数据分析的效率，如果数据是完整有效的，分析人员将能够更快地挖掘到相关信息，做出更准确的决策，并且更容易发现数据之间的关系和模式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值