揭秘大数据 | 16、OLAP 那些事儿

已于 2025-04-02 14:39:39 修改
阅读量923 收藏 14
点赞数 21
文章标签： 大数据 Newsql nosql 图数据库 hadoop
于 2025-04-02 14:36:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Ultipa/article/details/146936117
版权

接着奏乐接着舞，上文讲到大数据的四大阵营之一的  OLTP阵营，今儿开继续讲OLAP的那些事儿！

OLAP阵营主要有两大主流，

一大主流是基于MapReduce而构建的Hadoop生态圈，
另一大主流是MPP数据库阵营。不过MPP数据库通常兼具OLAP与OLTP的功能，我们把MPP数据库与OLAP类型大数据并列。

Hadoop的整体架构其实非常简单，可用计算式表达为：

Hadoop = HDFS + MapReduce

其中，HDFS负责存储，MapReduce负责计算。HDFS的设计核心理念（设计目标）有以下3个：

(1)可以扩展到数以千计的节点。

(2)假设硬件/软件的故障/失败十分普遍。

(3)一次写入，多次读写（在HDFS中，写特指文件添加操作）​。

前两个比较容易理解，绝大多数的新型分布式系统都秉持类似的设计理念，特别适合于用商用硬件构建高度可扩展的高性能系统，如实现随节点数增加的线性或近线性系统性能提升。

第3个指的是Hadoop的

最低0.47元/天 解锁文章
XAI嬴图
关注
博客
云计算与大数据进阶 | 28、存储系统如何突破容量天花板？可扩展架构的核心技术与实践—— 分布式、弹性扩展、高可用的底层逻辑（下）
05-21 1015
本文深入探讨了存储系统可扩展架构中的SAN系统和统一存储系统的扩展性技术。文章指出这些技术相互协作，为应对云计算、大数据时代的海量数据存储需求提供了坚实基础，未来仍需持续创新以突破存储容量限制。
博客
云计算与大数据进阶 | 27、存储系统如何突破容量天花板？可扩展架构的核心技术与实践—— 分布式、弹性扩展、高可用的底层逻辑（上）
05-20 964
数据中心里，存储系统是至关重要的组成部分。由于相关硬件组件与存储操作系统的多样性和复杂性，如何在保证存储稳定、安全、可靠的同时，实现灵活扩展和自服务，一直是困扰数据中心全面云化的难题。简单来说，现在的难题就在于：硬件和软件的复杂性导致存储系统像一堆零散的积木，拼起来费劲，改起来更麻烦，而云化又需要它像变形金刚一样，既能随时调整结构，又能稳稳当当不出错。那么，如何把这些零散的积木变成一个灵活又可靠的整体，就成了数据中心全面云化必须要跨过的一道坎。
博客
云计算与大数据进阶 | 26、解锁云架构核心：深度解析可扩展数据库的5大策略与挑战（下）
05-19 928
领导者（Leader）：唯一写入口，负责生成事务编号（ZXID）、广播消息；跟随者（Follower）：接收并执行 Leader 的指令，参与选举。
博客
沸点 | 从 “黑箱” 到 “透明”：嬴图图增强智能技术入榜中关村前沿科技大赛——解码 AI可解释性的产业落地路径
05-16 629
近日，第八届中关村国际前沿科技大赛人工智能领域赛在中关村东升国际科学园圆满收官。在这场汇聚全球顶尖 AI 创新力量的巅峰对决中，嬴图凭借 “图增强智能 XAI 系统” 从 全球 200 余个参赛项目中突出重围，荣膺人工智能领域 TOP10榜单，成为本届大赛国际化舞台上技术创新性与商业化潜力兼具的标杆案例。
博客
云计算与大数据进阶 | 26、解锁云架构核心：深度解析可扩展数据库的5大策略与挑战（上）
05-16 1426
在云应用/服务的 5 层架构里，数据库服务层稳坐第 4 把交椅，堪称其中的 “硬核担当”。它的复杂程度常常让人望而生畏，不少人都将它视为整个架构中的 “终极挑战”。不过，也有人觉得可扩展存储系统才是最难啃的 “硬骨头”，其实这场关于谁更复杂的争论没有标准答案，很大程度上取决于具体的业务应用模式（就可扩展存储系统，老夫打算在后续的文章中具体再聊）。
博客
回答 | 图形数据库neo4j社区版可以应用小型企业嘛？
05-12 983
此外，系统在运算每一个查询时所需的时间、空间复杂度的问题也是存在的，因为图查询经常是高维的、递归的、单一的复杂查询请求（例如查询某个顶点的全部多步邻居集合，或两个顶点间的全部最短路径数量），如果每一步的复杂度都较高，那么整体的查询复杂度就会呈指数级升高，直至系统失控（内存溢出、死机或无法返回）。这中，还有一个留给大家思考，这也是开源社区都要面对和思考的，一款优异的产品特别是新产品，如果有明确的商业化道路可以遵循，那么还有什么理由去打造一个开源的版本，使其性能、功能与商业版本没有差异呢？
博客
沸点 | 嬴图入选 2025年度 DataTech50 榜单
05-08 388
双年入选，引领科技
博客
云计算与大数据进阶 | 25、可扩展系统构建
05-06 1309
缓存服务层的扩展性实现在避免出现单点失效的基础之上，单个节点的缓存服务器/应用服务器共享节点的方式在生产环境中都是不可取的，主要问题是如何实现多缓存节点间的负载均衡。需要指出的是，系统扩展性不能是以牺牲性能为前提的，如我们在前面的文章中讨论过的，横向扩展的系统在简单、浅层查询的高并发场景中有优势，但是在复杂、深层查询的场景中，垂直扩展的系统更具优势，因此，系统扩展过程中通常是纵向扩展与横向扩展兼而有之的。此外，还有一个问题是基于纵向扩展设计的系统的瓶颈性显而易见，因此纵向扩展的扩展性能甚为堪忧。
博客
揭秘大数据 | 24、资源管理、高可用与自动化
04-18 841
比资源管理更贴近最终用户的是一系列的服务，正如软件定义数据中心分层模型（见图3-25）所示，这些服务可以是普通的邮件服务、文件服务、数据库服务，也可以是针对大数据分析的Hadoop集群等服务。业界通常将5个9以上的系统称为零死机时间系统——颇具讽刺意味的是，某公有云厂商动辄鼓吹自己的系统和服务达到11个9的可用性，但是一根光纤断了、一个服务接口的故障就可以导致整个机房下线数天。最常见的高可用集群是两节点的集群，包括主节点与冗余节点各一个，也就是100%的冗余率，这也是集群构建的最小规模。
博客
揭秘大数据 | 23、软件定义网络
04-17 674
各种异构的、不同协议的网络设备之间的兼容性和互通性令人望而生畏；通过将网络状态集中到控制层，软件定义网络利用动态和自动的编程方式为网络管理者提供了灵活的配置、管理、保护和优化网络资源的方式，而且管理员可以自己编写这些程序，而不用等待新功能被嵌入供应商的设备和网络的封闭软件环境之中。对网络用户，特别是互联网厂商和电信运营商而言，软件定义网络意味着网络的优化和高效的管理，可以用于提高网络的智能性和管控能力，大幅降低网络建设与运维成本，还可以促进网络运营商真正开放底层网络，大大推动互联网业务应用的优化和创新。
博客
揭秘大数据 | 22、软件定义存储
04-16 1032
需要指出的是，无论是安全还是管理与编排，它们整体的发展都是朝着大数据、快数据、流数据的方向进行，相关系统的体系架构也一定是朝着分布式、并行式的云计算架构方向前进，这其中对网络（负责数据的迁移）​、计算（负责通过对数据的计算、分析得出信息与智能）以及存储（负责数据最终的存储与管理）具有天然的需求。主流的软件定义存储技术方案通常对数据管理与数据读写进行分离，由统一的管理接口与上层管理软件交互，而在数据交互方面可以兼容各种不同的连接方式，这种方式可以很好地与传统的软硬件环境兼容，从而避免“破坏性”的改造。
博客
揭秘大数据 | 21、软件定义计算
04-15 823
我们有理由相信，假以时日，容器技术的作为会更大，不过在相当长的一段时间内容器技术更侧重于第三平台的应用，特别是无状态类应用与服务。图8展示了从容器到统一内核的精简过程，很显然，统一内核缩减了操作系统内核的足印，也简化了每个容器化应用对底层的依赖关系，由此带来了更快的部署、更高的迁移运行速度。容器计算是软件定义计算虚拟化的新锐势力，它与虚拟机技术的最大区别在于不需要虚拟化整个服务器的硬件栈，而是在操作系统层面对用户空间进行抽象化，因此我们称其为操作系统级虚拟化，以区别于之前的基于硬件虚拟化的虚拟机技术。
博客
揭秘大数据 | 20、软件定义数据中心
04-14 887
还有传统的硬件提供商英特尔公司，作为主要的硬件厂商之一，为了满足巨型的、可扩展的、自动管理的未来数据中心的需要，英特尔公司也提出了自己全新架构的硬件——机柜式架构(Rack Scale Architecture，RSA)。从VMware公司在2006年发布成熟的面向数据中心的VMware Server产品到如今，不仅仅是服务器的虚拟化经历了从全虚拟化到硬件支持的虚拟化，再到下一代可扩展虚拟化技术的发展，软件定义存储、软件定义网络也迅速发展起来，并成为数据中心中实用的技术。接下来，老夫将分三篇文章，就。
博客
揭秘大数据 | 19、软件定义的世界
04-10 1255
主要的资源被虚拟化，这只是实现了软件定义的第一步，这是因为虚拟化在解决大量现有问题的同时，也带来了一些新的挑战。
博客
视频 | 对等关税砸盘，全球市场惨跌，图计算暗藏破局密码
04-09 280
比如这次因为关税原因，众多机构都纷纷抛出手中的产品，抛售之后，机构又得补充保证金，于是像黄金、加密货币这类相对值钱的资产也惨遭抛售，以回笼现金，就连原本盈利的品种也被拖入下跌的漩涡……伴随科技领域日新月异，信息流动、物资流动都达到了前所未有的水平，越来越多的企业参与到全球经济循环中，横贯东西方几个世纪的生产力鸿沟，正在被快速填平。然而，我们也看到了硬币的另一面，在构成世界的复杂逻辑中，“戴尔理论”并不灵验，“修昔底德陷阱”并将长期存在。一旦某一品种价格下跌，与之关联的品种也会殃及池鱼，就容易引发连锁反应。
博客
揭秘大数据 | 18、关于流数据管理的那些事儿
04-07 885
老夫之前就讲过，大数据一般被分为就是其中之一。感兴趣的朋友，可以点击以下文章进行温故知新：来自这样一个概念：数据的价值随着时间的流逝而降低，所以在事件发生后需要尽快对其进行处理，最好是在事件发生时就进行处理（即实时处理）​，对事件进行一个接一个的处理，而不是缓存起来进行批处理（如Hadoop）​。在数据流管理中，需要处理的输入数据并不被存储在可随机访问的磁盘或逻辑缓存中，它们以数据流的方式源源不断地到达。①实时性：数据流中的数据实时到达，需要实时处理。②无边界：数据流是源源不断的，大小不定。
博客
揭秘大数据 | 17、MPP 那些事儿
04-03 373
Greenplum是业界第一个开源的MPP数据库，对想要实现OLTP和OLAP一体化大数据分析与管理系统的人来说，这是个天大的好消息。例如在大数据分析和处理中，MPP 数据库可以将数据分布在多个节点上进行并行处理，从而提高处理速度和效率。和MapReduce类似，两者都采用大规模并行处理架构对海量数据进行以大数据分析为主的工作，不同之处在于MPP通常原生支持并行的关系型查询与应用（不过这一点，Hadoop阵营也在逐渐通过在HDFS之上提供SQL查询接口来支持查询，甚至包括关系型查询）​。
博客
揭秘大数据 | 15、OLTP 的那些事儿
04-01 960
数据中的不同记录可能有不同的属性和格式。当插入数据时，并不需要预先定义它们的模式（如MongoDB，后文中将会介绍）​。NoSQL和传统的关系数据库的对比如图1所示。可以看出，NoSQL数据库无数据清洗，无数据转换，无数据加载，并且在数据存储处进行分析。
博客
嬴图入围银行技术奖总决赛，推动金融科技审计创新​
03-31 338
极大提升了审计工作的效率与质量，精准回应了金融行业数字化转型中对审计服务高效、智能、可解释性的迫切需求，契合金融行业数字化转型中对智能、高效审计服务的需求。近日，金融科技领域再度聚焦于创新力量的角逐，北京/硅谷出身的图数据库领先企业——嬴图，凭借其卓越的技术实力与创新解决方案，成功入围。从英国的荣耀加冕到美国的总决赛入围，嬴图在金融科技奖项领域的持续突破，背后是其对技术研发的执着投入与对行业需求的深刻洞察。，证明了其在图数据库技术与人工智能融合应用方面的领先地位。，通过将复杂的金融交易网络以直观的。
博客
揭秘大数据 | 14、大数据的五大问题 之 大数据应用
03-26 680
大数据所面临的五大问题中最后一个是，这也是大数据问题的具象（最终展现形式）​。如果高度概括大数据的生命周期，那么可以归纳为：大数据来源+大数据技术+大数据应用，如图1所示。三者缺一不可、彼此相承。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值