HCIP学习笔记-华为云原生应用的解决方案-10

1.华为云技术创新及解决方案概述

1.1 企业发展关注数字化转型

• 随着企业的数字化建设逐步进入智能升级阶段，企业需要充分享受云计算带来的红利.云对业务的价值不再是简单的资源供给，还要能以应用为中心，为业务赋能
• 数字挛生:充分利用仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程，有效降低实际生产的成本。

1.2 华为云全栈技术助力企业数字化

2.华为云EI企业智能解决方案

EI : Enterprise Intelligence

2.1 企业智能EI

• 华为云 EI 主要包含了大数据和 AI 解决方案两部分

2.2 华为云 EI 解决方案-全栈使能，全场景覆盖

• 标红为后续会继续学习的部分
• 华为云数据使能DAYU:
  • 致力于打通企业数据从资源到资产的通路，通过全域数据入湖，实现数据跨越孤立系统、能够进行业务感知，进行数据资源智能管理。从多角度、多层次、多粒度挖掘数据价值，实现数据驱动的数字化转型。
• 华为云AI使能ModelArts
  • ModelArts :面向开发者提供一站式 AI 开发平台。
• 训练框架:
  • MindSpore是华为开源自研 AI 框架。支持端边云全场景的深度学习训练推理框架，主要应用于计算机视觉、自然语言处理等 AI 领域。
• 算力:
  • NPU(Neural Network Processing Unit，简称NPU ): 神经网络处理器，是基于神经网络算法与加速的新型处理器总称。

2.3 什么是大数据

2.4 MapReduce服务MRS

• MRS是帮助客户一键式构筑数据接入、数据存储、数据分析和价值挖掘的统一大数据平台，与华为云IOT物联网、ROMA平台、数据湖工厂及数据可视化等服务对接，为客户轻松解决数据通道上云、大数据作业开发调度和数据展现困难的问题。
• MRS根据不同的场景提供了不同的大数据分析处理的组件，如果需要实时处理，我们可以选择流计算组件，例如如Flink，若需要离线批次计算，可以选择Spark或MapReduce。
• 备注: CarbonData是。种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。

2.5 MRS适用场景

• 海量数据分析场景下MRS的优势(环保行业 ):
  • 低成本:利用OBS实现低成本存储
  • 海量数据分析:利用Hive实现TB/PB级的数据分析
  • 可视化的导入导出工具: 通过可视化导入导出工具Loader，将数据导出到DWS完成BI分析。
• 海量数据存储场景下使用MRS优势(车联网行业 ):
  • 实时: 利用Kafka实现海量汽车的消息实时接入。
  • 海量数据存储: 利用HBase实现海量数据存储，并实现毫秒级数据查询
  • 分布式数据查询:利用Spark实现海量数据的分析查询。
• 实时数据处理场景下MRS的优势?（ 电梯行业 ):
  • 实时数据采集:利用Flume实现实时数据采集，并提供丰富的采集和存储连接方式。
  • 海量的数据源接入: 利用Kafka实现万级别的电梯数据的实时接入。

2.6 环保行业海量数据分析场景

• 可以将天气数据存储在OBS，定期转储到HDFS中进行批量分析

2.7 数据库探索DLI

• 用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索
• 应用场景为:海量日志分析、异构数据源联邦分析、大数据ETL处理

2.8 数据仓库服务DWS

• DWS是基于华为融合数据仓库GaussDB产品的云原生服务，GaussDB(DWS )基于Shared-nothing分布式架构，具备大规模并行处理引擎，由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中，业务数据被分散存储在多个节点上，数据分析任务被推送到数据所在位置就近执行，并行地完成大规模的数据处理工作，实现对数据处理的快速响应
• DWS提供了Web化的服务管理平台，即管理控制台，还提供了基于HTTPS请求的API方式管理DWS 集群。
• DWS常常配合云数据迁移(Cloud Data Migration，简称CDM)、数据接入服务( Data Ingestion Service，简称DIS)使用，CDM用于批量数据迁移，DIS用于流数据接入。

2.9 DWS应用场景