FusionInsight MRS云原生数据湖

已于 2025-03-08 16:22:27 修改
阅读量1k 收藏 13
点赞数 23
分类专栏： 信创 数据湖仓 大数据与云原生 文章标签： fusioninsight 云原生 mrs
于 2025-03-06 23:21:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_55629186/article/details/146081902
版权

FusionInsight MRS云原生数据湖






1、FusionInsight MRS概述


1.1、数据湖概述

数据湖是一个集中式存储库，允许以任意规模存储所有结构化和非结构化数据。可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析， 从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策

在这里插入图片描述
数据湖的价值在于它能够在更短的时间内从更多来源利用更多数据，并使用户能够以不同方式协同处理和分析数据，从而做出更好、更快的决策

1.2、FusionInsight概述

FusionInsight智能数据湖采用了领先的Lakehouse架构，将数据湖和数据仓库的优势融合在一起，提供了高效、规范、灵活、简洁的架构和低资源占用。这种架构降低了传统湖仓割裂导致的系统间复杂度，并减少了在湖、仓、AI开发之间来回迁移数据的工作

FusionInsight官网：https://www.huaweicloud.com/product/huaweicloudstack/fusioninsight.html

在这里插入图片描述
FusionInsight由4个子产品和1个操作运维系统组成：

  • Fusion Insight HD（大数据处理环境）：一个分布式数据处理系统，对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力
  • Fusion Insight MPPDB（并行处理关系型数据库）：采用大规模并行处理（Massively Parallel Processing，MPP）架构，支持行存储和列存储，提供PB级数据量的处理能力
  • Fusion Insight Miner（数据分析平台）：基于Fusion Insight HD的分布式存储和并行计算技术，提供从海量数据中挖掘有价值的信息
  • Fusion Insight Farmer（大数据应用容器）：为企业业务提供统一开发、运行和管理的平台
  • Fusion Insight Manager（操作运维系统）：提供高可靠、安全、容错、易用的集群管理能力，支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等功能

FusionInsight包括多个云服务‌：MRS云原生数据湖、DWS云数据仓库、DGC数据湖治理中心、GES图引擎等

在这里插入图片描述
1.3、MRS概述

华为MRS（MapReduce Service）是华为云推出的一种大数据处理服务，基于开源的Hadoop生态系统，通过简化的大数据处理流程，为用户提供一个高效、灵活、安全的大数据计算平台

华为MRS不仅支持传统的批处理任务（如MapReduce），还支持Spark、Hive、HBase等多种大数据处理引擎，适用于各类数据分析、处理和存储任务

通过华为云MRS，企业可以在云环境中构建自己的大数据平台，进行数据存储、计算、分析和可视化，帮助企业处理海量数据并从中提取有价值的洞察

华为MRS作为一个高性能的大数据处理平台，提供了一种高效、可靠、安全的数据管理和分析平台，可以帮助企业和组织更好地管理和利用海量数据

MRS介绍：https://support.huawei.com/enterprise/zh/doc/EDOC1100328015/5984720e

MRS官网：https://www.huaweicloud.com/product/mrs.html

MRS功能总览：https://support.huaweicloud.com/intl/zh-cn/function-mrs/index.html

华为MRS的优势包括：

  • 计算存储分离

    MRS具备计算存储分离的先进架构，鲲鹏加持，多核高性价比

  • 灵活弹性伸缩

    资源灵活配比，可以选择多种计算和存储资源进行组合，按需自动弹性伸缩，大大降低上云成本

  • 完全兼容开源

    100%兼容开源生态接口，存算分离数据迁移，支持屏蔽OBS接口，业务无感知，客户业务代码“0”改动

  • 搬迁简单快速

    搬迁工具齐全，简单快速完成无业务中断迁移方案

在这里插入图片描述
1.4、FusionInsight MRS概述

FusionInsight MRS是华为FusionInsigth HD企业级大数据平台与华为云MRS服务的融合版本，是华为云（Huawei Cloud）、HCS（Huawei Cloud Stack）统一的企业级大数据云服务

FusionInsight MRS完全兼容开源组件接口，结合华为云计算、存储优势及大数据行业经验，为客户提供高性能、高性价比、灵活易用的全栈大数据平台，可以一站式运行Hadoop、Spark、HBase、Kafka、Flink等大数据组件，帮助企业快速构建海量数据处理系统

在这里插入图片描述
FusionInsight MRS针对开源组件进行了优化升级，提供全新能力，并在社区基础上对功能、性能、可靠性等方面进行了增强。例如，Hive支持Tez引擎，支持Flink On Hive等

2、FusionInsight MRS解决方案


FusionInsight MRS云原生数据湖让客户在一个Lakehouse湖仓一体架构上实现“三湖一集市”，满足用户在建设数据湖过程中快速构建现代数据平台、持续演进的需求

在这里插入图片描述

3、FusionInsight MRS优势


FusionInsight MRS的优势包括：

在这里插入图片描述

4、FusionInsight MRS功能


FusionInsight MRS云原生数据湖提供三个核心功能：

4.1、离线数据湖：Lakehouse湖内建仓，分析链路短，建设周期短

在这里插入图片描述
4.2、实时数据湖：数据全链路实时分析，价值兑现从T+1到T+0

在这里插入图片描述
4.3、逻辑数据湖：跨湖协同分析，效率50倍提升

在这里插入图片描述

华为云FusionInsight MRS官方培训系列课程：https://bbs.huaweicloud.com/forum/thread-145085-1-1.html




参考文章：https://blog.youkuaiyun.com/qq_20042935/article/details/125068919


华为云 Fusion Insight 可信智能计算服务让数据可信流通
SeeK的云技术博客
05-06 1240
中小微企业为申请银行贷款跑断腿？税务、人社、住建、水、电等，为了给企业有更好的信用建模，需要向不同的机构 申请不同维度的数据，流程冗长复杂，让人望而生畏。 探索和发现新的药物，需要结合多家医疗和科研机构的基因、临床和药物数据，可是这些样本数据散落在不同医疗和科研机构手中，有的数据不能共享，有的不愿意共享。货物运输方面，由于苏伊士运河堵塞，需要快速为公司梳理出受到影响的货物和客户，以及快速给出备份方案，可是合同、研发、供应链以及部件等数据位于企业内外不同的系统中，想要短时间盘点出来简直困难重重。数据要素的重要
华为大数据平台-FusionInsight MRS
数据也是生产力，保持热爱，奔赴山海！
02-27 3943
关于华为的大数据平台，MRS是集成一些开源的大数据组件，有自己的运维和安全管理系统Manager，中间也做了一些默认的集成，比如Hudi和Hive的同步数据等等。
华为云FusionInsight MRS：助力企业构建“一企一湖，一城一湖”
华为云官方博客
11-04 3382
摘要：华为云FusionInsight MRS新一代的数据湖，让大数据越用越快、越用越易、越用越稳、越用越省！让数据价值近在眼前！ 10月30日，以“携手共赢·数创未来”为主题的第二届数据分析技术与应用高峰论坛在深圳举行。会上，华为云大数据高级营销经理王宁进行了主题演讲“华为云FusionInsight MRS跨越技术裂谷，助力客户实现一企一湖，一城一湖”！ 大数据技术创新焦点已转向LakeHouse，企业创新焦点已转向湖仓一体 “随着大数据技术的愈发成熟和5G、AI、IoT技术的规模商用，政企客
华为云MRS基于Hudi和HetuEngine构建实时数据湖最佳实践
cmdos的专栏
03-23 1003
数据湖与实时数据湖是什么？各个行业企业都在构建企业级数据湖，将企业内多种格式数据源汇聚的大数据平台，通过严格的数据权限和资源管控，将数据和算力开放给各种使用者。一份数据支持多种分析，是数据湖最大的特点。如果数据湖的数据，从数据源产生后，可以在1分钟以内实时进入到数据湖存储，支持各种交互式分析，这种数据湖通常叫做实时数据湖，如果可以做到15分钟之内，也可称为准实时数据湖。构建实时数据湖，正在成为5G和IOT时代，支撑各个企业实时分析业务的数据湖新目标。华为MRS实时数据湖方案介绍生产库数据通过CDC工具（de
解密华为云FusionInsight MRS新特性：一架构三湖
weixin_48967543的博客
05-25 590
摘要：华为云安全网关产品总监郭冕在“华为云TechWave云原生2.0专题日”上发表《华为云FusionInsight MRS，一个架构实现三种数据湖》的主题演讲，分享了智能数据时代的数据湖发展趋势、MRS云原生数据湖技术创新实现一个架构构建离线、实时、逻辑三种数据湖，以及业务实践中的成功案例等。 本文分享自华为云社区《华为云FusionInsight MRS云原生数据湖，一架构三湖，解密华为云FusionInsight MRS组件新特性》，原文作者：IT老磨。 5月20日，华为云安全网关产品总监郭...
华为云FusionInsight智能数据湖版本新能力解读
qq_19735585的博客
09-26 1152
2021年9月23-25日，华为全联接2021以“深耕数字化”为主题，在线上隆重举办。当前，数据已是第5种生产要素，如何发挥数据要素价值已是共同话题。本次将由华为云FusionInsight携手客户和伙伴，率先揭秘FusionInsight 8.1.0版本的实时数据湖、容灾、时序数据库新能力，工商银行讲述携手FusionInsight共建大数据体系；更有中国顶级高校-清华大学，携手顶级大数据厂商-华为云，共同打造全球大数据社区顶级项目-时序数据库IoTDB的创新故事，分享基于IoTDB成果的中国软件创新体系
华为云FusionInsight MRS ClickHouse 增强特性介绍
HWCloudDeveloper的博客
03-22 1054
ClickHouse是Yandex开发的用于联机分析(OLAP)的DBMS。 2016年根据Apache 2.0许可证开源。功能上支持DDL、DML、数据备份恢复、权限控制、分布式管理等完备的DBMS功能，SQL基本与标准SQL兼容，支持丰富的函数和数据类型，具有强大的MergeTree表引擎，列式存储支持LZ4压缩，支持数据分片、数据分区、主键稀疏索引、二级跳数索引，支持数据多副本、TTL等，支持向量化执行、分布式多核并行计算、动态代码生成，性能卓越；适用于网络/APP流量分析、用户行为记录分析、商业智能
华为云FusionInsight让大数据发挥更大价值
SeeK的云技术博客
05-06 705
大数据概念的热度已经持续了很长一段时间，英国《2013-2020年大数据分析：劳工与技能需求评估》的报告指出，在2008到2013年间，英国劳动力市场对大数据相关工种需求量从原来的1800个职位增加到了47600个，这是一个惊人的数字，并且在互联网经济相当发达的中国，对大数据专业的人才需求量更大。面对大数据时代的到来，华为云聚集了众多大数据领域专家和人才，将技术创新作为主旋律，为政企转型升级提供了新动能。 一、大数据有什么作用？ 对于政府来说，大数据可以促进办事效率的提高，政府通过大数据进行可视化分析并进行
华为云大数据智能数据湖FusionInsight
SeeK的云技术博客
06-17 1037
华为预计，到2025年全球每年新增数据存储量为180ZB，企业的数据利用率将会达到86%。到2030年数据应用（包括大数据和AI）将会给全球带来13万亿美元的收益，为全球经济贡献16%的GDP增长。其中，传统行业将会成为未来10年数据应用增速最快、受益最大的主体。 未来是一个高速发展的时代，掌握最新最有用的信息就能赶上时代的风口，这时候就需要大数据分析，华为云大数据满足你企业对数据分析的一切需求。通过华为云大数据你可以掌握最新消息，了解行业动态。 智能数据湖FusionInsight 华为云大数据叫智能数据
基于MRS-Hudi构建数据湖的典型应用场景介绍
HWCloudDeveloper的博客
03-23 499
一、传统数据湖存在的问题与挑战 传统数据湖解决方案中，常用Hive来构建T+1级别的数据仓库，通过HDFS存储实现海量数据的存储与水平扩容，通过Hive实现元数据的管理以及数据操作的SQL化。虽然能够在海量批处理场景中取得不错的效果，但依然存在如下现状问题： 问题一：不支持事务 由于传统大数据方案不支持事务，有可能会读到未写完成的数据，造成数据统计错误。为了规避该问题，通常控制读写任务顺序调用，在保证写任务完成后才能启动读任务。但并不是所有读任务都能够被调度系统约束住，在读取时仍存在该问题。 问题二：数据更
fusioninsight
02-19
本文档简要介绍了FusionInsight的产品介绍、系统架构介绍、部署方案、企业级增强特性介绍、系统规格等信息。
FusionInsight
12-18
FusionInsight描述信息，包括一些基本概念及技术架构，可作为学习参考。
FusionInsight概述
阿甘兄
05-31 7232
文章目录01 引言02 FusionInsight概述2.1 数据湖2.2 FusionInsight为何物？2.3 FusionInsight架构03 文末 01 引言 最近可能会用到华为的FusionInsight产品，所以预先了解下。 02 FusionInsight概述 FusionInsight官网地址：https://e.huawei.com/cn/solutions/cloud-computing/big-data 2.1 数据湖 在了解FusionInsight之前，需要知道什么是数据湖
华为fusionInsigtht集群es连接工具
焱童鞋
11-07 1298
华为fusionInsight为用户提供海量数据的管理及分析功能，快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。开源组件结构复杂，安装、配置、管理过程费时费力，使用华为FusionInsight Manager将为您提供企业级的集群的统一管理平台,在工作中遇到使用华为集群的es由于过于安全，操作反而不便，为此记录下使用工具。3.在项目目录下建立conf文件夹并存放1步骤中的凭据文件。1.使用账号密码登陆web界面下载认证凭据。2.1使用如下pom.xml。
华为MRS产品组件
qq_58814722的博客
06-17 2680
MRS是一个在上部署和管理Hadoop系统的，一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级（全栈大数据平台），轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。使用MRS的首要操作就是购买集群，MRS的扩容不论在存储还是计算能力上，都可以简单地通过增加Core节点或者Task节点来完成。集群Core节点不仅可以处理数据，也可以存储数据。集群Task节点主要用于处理数据，不存放持久数据。文件管理用于集群运维，包括文件夹创建、删除，文件导入、导出、删除操作。
Fusion Insight
热门推荐
bingoabin
01-16 18万+
1. 概述 华为Fusion Insight是一个分布式数据处理系统，对外提供大容量的数据存储、查询和分析能力。Fusion Insight在Hadoop集群上又封装了一层，类似于开源的CDH，HDP等大数据平台。 2. Fusion Insight框架介绍 Fusion Insight 组成结构图 Fusion Insight解决方案由4个子产品Fusion Insight HD、Fusio
FusionInsight HD 华为大数据平台
奥利波德的魔法屋
07-17 1万+
华为FusionInsight HD是一个分布式数据处理系统，对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力。 安全 架构安全、认证安全、文件系统层加密 可靠 所有管理节点组件均实现HA（High Availability） 集群异地灾备 数据备份恢复 易用 统一运维管理 易集成 易开发 系统架构 Manager 作为运维系统，为FusionInsight HD提供高可靠、...
【hcie-cloud】【2】华为云Stack解决方案介绍、缩略语整理 【下】
崔崇鑫的博客，你linux/云运维工作中的百科全书。
11-06 2372
对于数据时效性要求高（1分钟以内为实时，1-15分钟之内为准实时）的场景，实时数据湖提供实时集成更新同步，实时流式处理引擎，以及实时OLAP等端到端实时能力，让数据时效从T+1走向T+0竞争力：实时集成更新易集成：自研CDL让数据实时集成，兼容常见OLTP数据库，支持实时同步到数据湖，打通“最后1公里”支持事务：支持数据的Upsert和Merge，更新删除性能较传统方案提升10倍+；分散入湖降低所需资源实时OLAP。
在华为云FusionInsight MRS架构下，如何通过优化Apache Hudi的数据布局和索引策略来提升Presto的查询性能？
最新发布
10-24
参考资源链接：[华为云优化Apache Hudi查询实践：湖仓一体架构的秘密加速器](https://wenku.youkuaiyun.com/doc/42brny2yec) 在华为云FusionInsight MRS架构中，Apache Hudi和Presto的结合使用对于大数据分析至关重要。要优化查询性能，首先要从数据布局开始。数据布局优化的关键在于合理设计分区策略和数据排序。合理设置分区字段可以减少查询时的数据扫描范围，而数据排序则可以提高数据检索效率，特别是当涉及到大量数据时，有效的排序可以减少查询引擎的I/O成本。例如，根据查询中常见的过滤条件来设计分区键，可以大幅度减少需要扫描的数据量。 其次，索引策略的选择和应用对于查询性能同样至关重要。索引可以为数据查询提供快速的查找路径，减少全表扫描的需要。在Apache Hudi中，可以通过创建列索引（Column Indexes）来加快查询速度，特别是在处理复杂查询和大量数据的情况下。对于Presto来说，可以利用Hudi生成的索引信息来优化查询计划，从而提升查询性能。 在华为云提供的实践中，还可以利用Data Skipping技术来进一步提升查询性能。Data Skipping允许查询引擎跳过那些不满足查询条件的数据块，只读取需要处理的数据，这在处理大规模数据集时尤其有效。通过上述方法，结合华为云FusionInsight MRS提供的高性能计算资源，可以实现对Apache Hudi进行精细的数据布局和索引策略优化，进而显著提高Presto的查询性能。 总的来说，通过深入理解数据布局和索引策略，并结合华为云FusionInsight MRS的特性，可以有效地提升Hudi数据湖和Presto查询引擎的性能，为大数据分析带来更高的效率和更好的用户体验。如果你希望更深入地了解如何在华为云FusionInsight MRS架构下优化Hudi和Presto，建议阅读《华为云优化Apache Hudi查询实践：湖仓一体架构的秘密加速器》一书，该书详细介绍了这一过程中的原理和实践方法，将为你提供在大数据领域深入研究的坚实基础。 参考资源链接：[华为云优化Apache Hudi查询实践：湖仓一体架构的秘密加速器](https://wenku.youkuaiyun.com/doc/42brny2yec)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值