【Hadoop】核心组件深度剖析：HDFS、YARN与MapReduce的奥秘

已于 2024-08-26 13:58:35 修改
阅读量6k 收藏 72
点赞数 62
分类专栏： 大数据前沿：技术与应用并进 文章标签： database 大数据 数据分析 hadoop spark hdfs big data
于 2024-08-20 07:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_53269650/article/details/141322776
版权

🐇明明跟你说过：个人主页

🏅个人专栏：《大数据前沿：技术与应用并进》🏅

🔖行路有良友，便是天堂🔖

目录

一、引言

1、Hadoop简介

2、Hadoop生态系统概览

二、Hadoop Distributed File System (HDFS) 深度解析

1、HDFS核心概念

2、HDFS工作机制

3、HDFS的优势与局限

三、Yet Another Resource Negotiator (YARN) 架构剖析

1、YARN诞生背景与意义

2、YARN架构概览

3、YARN工作流程

4、YARN应用场景

四、MapReduce编程模型与实现机制

1、MapReduce基本概念

2、MapReduce 工作流程

一、引言

1、Hadoop简介

Hadoop 是一个开源的分布式计算框架，主要用于处理和存储大量数据。它由 Apache 软件基金会开发，基于 Google 的 MapReduce 和 Google 文件系统 (GFS) 的理念设计。Hadoop 提供了一种可扩展、容错的方式来处理大规模数据集，使得用户能够在廉价的硬件上进行分布式计算。

2、Hadoop生态系统概览

Hadoop 生态系统是围绕 Hadoop 分布式计算框架所建立的一系列工具和技术的集合。这些工具涵盖了数据存储、数据处理、数据管理、数据分析等多个方面，旨在帮助用户处理和分析大规模数据集。

1. 数据存储与管理

HDFS (Hadoop Distributed File System):

  • Hadoop 分布式文件系统，用于存储大规模数据，具备高容错性和高吞吐量。

HBase:

  • 一个基于列存储的分布式数据库，适合处理大规模结构化数据，支持实时读写。

Hive:

  • 一个数据仓库工具，可以将结构化数据映射为表，支持使用类似 SQL 的查询语言 HiveQL 进行查询。

HCatalog:

  • Hive 的元数据管理服务，帮助不同 Hadoop 工具（如 Pig、MapReduce）之间共享数据元数据。

HCFS (Hadoop Compatible File System):

  • 支持与 HDFS 兼容的第三方文件系统，如 Amazon S3。

2. 数据处理

MapReduce:

  • Hadoop 的核心分布式计算框架，负责大规模数据的并行处理。

YARN (Yet Another Resource Negotiator):

  • 资源管理框架，负责集群资源的分配和任务调度，支持多种计算模型。

Tez:

  • 一种基于 DAG（有向无环图）的计算框架，作为 MapReduce 的更高效替代方案。

Spark:

  • 一个内存计算框架，比 MapReduce 更快，支持实时数据处理和复杂计算任务。

Pig:

  • 一个数据流处理工具，使用 Pig Latin 语言编写数据分析任务，适合处理非结构化和半结构化数据。

Flink:

  • 一个分布式流处理框架，支持流式和批处理数据的实时计算。

3. 数据分析与查询

Hive:

  • 前面提到的 Hive 也属于数据分析工具，可以通过 SQL 查询大规模数据。

Impala:

  • 由 Cloudera 开发的一个分布式 SQL 查询引擎，提供快速的查询能力，适合交互式分析。

Drill:

  • 一个低延迟查询引擎，支持各种数据源（如 HDFS、HBase、NoSQL 等）的查询。

Phoenix:

  • 用于 HBase 的 SQL 查询引擎，支持低延迟的查询操作。

Kylin:

  • 一个分布式数据仓库引擎，支持多维分析和 OLAP 查询，适合大规模数据集的分析。

4. 数据流处理

Storm:

  • 实时流处理框架，适合低延迟处理和分布式计算任务。

Kafka:

  • 一个分布式消息队列系统，支持高吞吐量的消息发布与订阅，广泛用于实时数据流处理。

Flink:

  • 既支持流式处理又支持批处理的数据处理框架，提供低延迟的实时计算。

最低0.47元/天 解锁文章
SpringBoot整合MyBatis，入门教程，细节无敌，不能错过
橙-极纪元-JJYCheng
08-15 1010
SpringBoot整合MyBatis，入门教程，细节无敌，不能错过
SpringBoot整合Mybatis-Plus
A_diligent_man的博客
08-08 1万+
MyBatis-Plus (opens new window)（简称 MP）是一个 MyBatis (opens new window) 的增强工具，在 MyBatis 的基础上只做增强不做改变，为简化开发、提高效率而生。特性无侵入：只做增强不做改变，引入它不会对现有工程产生影响，如丝般顺滑损耗小：启动即会自动注入基本 CURD，性能基本无损耗，直接面向对象操作。
SpringBoot 多模块Dao层单元测试
10-14
IDEA Spring 多模块 Dao 层单元测试, 此代码只演示Dao层单元测试。。。。。。。。。。。。
5,MyBatis自动生成实体类、DAO接口和Mapping映射文件,找不到生成路径Project src does not exist
m0_37822068的博客
03-05 2455
Mybatis不像Hibernate那样可以直接通过Myeclipse直接生成相应的映射文件，它是一个半自动化的ORM框架，所以主要的工作就是配置Mapping映射文件，但是由于手写映射文件很容易出错，所以可利用MyBatis生成器自动生成实体类、DAO接口和Mapping映射文件。这样可以省去很多的功夫，将生成的代码copy到项目工程中即可。所需要的文件如下：原文件和三个资源包下载地址http:...
Springboot项目启动失败提示找不到dao类
weixin_51528263的博客
06-04 1774
没有注入dao类导致项目启动失败
1. Mybatis入门程序提示找不到XxxDao.xml配置文件
xiexun001的博客
09-26 1291
【问题】Mybatis入门程序提示找不到XxxDao.xml配置文件 【解决方案】resources/XxxMapper.xml配置文件所在的包必须与java/XxxMapper.java所在的包结构相同 注意：在resources中创建文件夹的时候只能用dictionary，此时需要一级一级创建，否则创建出来的是一级文件夹 packging创建时: com.hqing.dao是三级结构 di...
Springboot整合mybatis报错dao层扫描不到
qq_52388401的博客
08-24 546
如果注解都没问题并且层级也没有问题那就是版本问题。我将版本换为3.0.3就ok了。
Springboot:找不到dao接口
m0_46389204的博客
07-04 2104
Springboot:找不到dao接口问题描述解决方法1.给对应的接口加上@Repository注解2.在springboot启动类上加@MapperScan("包路径") 问题描述 Springboot整合mybatis 和tk mybatis 都报错 显示找不到对应的dao接口 解决方法 1.给对应的接口加上@Repository注解 2.在springboot启动类上加@MapperScan(“包路径”) 使用tk mybatis时要注意路径 import tk.mybatis.spring.an
启动报错找不到 MyBatis 的 DAO 接口 A component required a bean of type ‘xxxMapper‘ that could not be found
kmswilliam的博客
01-12 2924
Description: A component required a bean of type ‘com.jdbc2.mapper.CourseMapper’ that could not be found. Action: Consider defining a bean of type ‘com.jdbc2.mapper.CourseMapper’ in your configuration. 原因 系统没有扫描到 MyBatis 的 DAO 接口 解决方式 查看 MapperScan 注解或者配置文
解决SpringBoot整合Mybatis扫描不到Mapper的问题
08-19
解决SpringBoot整合Mybatis扫描不到Mapper的问题 SpringBoot是一款流行的Java框架，Mybatis是Java Persistence层的优秀解决方案。当我们将SpringBoot和Mybatis整合时，可能会出现Mapper扫描不到的问题，这篇文章将...
SpringBoot整合Mybatis超详细流程
热门推荐
qq_42582489的博客
07-21 2万+
SpringBoot整合Mybatis超详细流程 文章目录SpringBoot整合Mybatis超详细流程前言详细流程0.引入Mybatis1.创建数据2.创建程序目录3.理解后台访问流程4.核心文件配置5.编写entity6.编写dao7.编写Mapper8.编写Service9.编写Controller10.运行项目参考文章 前言 MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code，并且
Mybatis基础使用（含springboot整合Mybatis）
weixin_44080194的博客
08-25 1438
mybatis自身的基础使用，springboot整合mybaits，一对一，一对多查询，动态SQL编写等
Spring Boot 使用addviewController()实现无业务逻辑跳转,，出现静态资源映射找不到的情况 。No mapping for GET xx.css
12-21
目录 1.实现无业务逻辑跳转 2.WebMvcConfigurerAdapter方法过时 3.继承WebMvcConfigurationSupport导致静态资源无法访问 4.WebMvcAutoConfiguration Did not match，webmvcAutoConfiguration配置没有加载 5.ThymeleafAutoConfiguration加载条件 1.实现无业务逻辑跳转        有的时候时候我们只需要一个业务逻辑的跳转，这时候我们会在Controller中写一个跳转的方法，如下图所示。但是每次需要跳转都需要一个方法太麻烦也不便于管理，于是就有了WebMvcCo
springboot，mybatis，springboot-mybatis环境，手动写dao实现类，非自动扫描
04-03
springboot，mybatis，springboot-mybatis环境，手动写dao实现类，非自动扫描 springboot环境，mybatis springboot mybatis 自动生成dao实现类的： https://download.youkuaiyun.com/download/nowsdt/11085245
IntelliJ Idea解决Could not autowire. No beans of 'xxxx' type found的错误提示
zlhcsm的博客
12-05 517
导入pom.xml中包出错. 检查包的版本或者包的名称. 举个例子 问题名称: Could not autowire. No beans of 'SqlSessionTemplate' type found 原先的包: <dependency> <groupId>org.mybatis</groupId> <arti...
SpringBoot找不到Dao
hechenggong159的博客
09-05 6025
默认Maven打包后不包括配置文件，一定要记得手动指定，包括Yml。 &lt;build&gt; &lt;resources&gt; &lt;resource&gt; &lt;directory&gt;src/main/java&lt;/directory&gt; &lt;includes&gt; ...
springboot启动发现不了dao层下的类
gaoxing412836542的博客
05-16 1264
Field userDAO in com.evan.wj.service.UserService required a bean of type 'com.evan.wj.dao.UserDao' that could not be found. The injection point has the following annotations: - @org.springframework.beans.factory.annotation.Autowired(required=true) 出现...
解决SpringBoot整合Mybatis扫描不到dao层xml文件的问题
qq_42087460的博客
04-09 3391
今天SpringBoot整合Mybatis 一直扫描不到dao层xml配置文件的问题 重点：*.xml 不是放在resources 下的Mapper文件夹下 xml文件是和dao层接口的java文件放在一起的 当你在application.properties中配置 mybatis.mapper-locations=classpath*:com/**/dao/*.xml 或者你在启动类Application上也添加了@MapperScan("com.**.dao") 发现都没用，还是报错..
mybatis中找不到UserDao.xml配置文件的路径
qq_45488981的博客
04-02 370
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://www.mybatis.org/dtd/mybatis-3-config.dtd"> <!--mybatis的主配置文件--> <configuration> <!-- 配置环境-->
springboot整合mybatis连接数据库，可是找不到数据库
最新发布
03-26
### Spring Boot 整合 MyBatis 时找不到数据库的原因分析 在 Spring Boot 中整合 MyBatis 并配置数据库连接时，如果遇到无法找到数据库的情况，可能是由于以下几个原因引起的： #### 1. **数据源配置错误** 如果 `application.properties` 或 `application.yml` 文件中的数据源配置项填写错误，则可能导致程序无法正确连接到目标数据库。常见的错误包括但不限于： - 数据库 URL 错误（例如拼写错误或端口号不对）[^2]。 - 用户名或密码错误。 正确的数据源配置应类似于以下形式： ```properties spring.datasource.url=jdbc:mysql://localhost:3306/your_database_name?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC spring.datasource.username=root spring.datasource.password=password spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver ``` #### 2. **依赖版本冲突** 如果项目中引入的 MyBatis 和 Spring Boot 的版本不兼容，可能会导致初始化失败或者无法正常加载数据库资源。建议检查项目的 `pom.xml` 文件，确保使用的依赖版本匹配。例如： ```xml <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.3.0</version> </dependency> ``` #### 3. **未启用 Mapper 接口扫描** 如果没有正确配置 `@MapperScan` 注解来指定 Mapper 接口所在的包路径，MyBatis 将无法识别这些接口，从而引发异常。可以通过以下方式解决此问题[^3]： ```java @SpringBootApplication @MapperScan("com.example.mapper") // 替换为实际的 mapper 路径 public class Application { public static void main(String[] args) { SpringApplication.run(Application.class, args); } } ``` #### 4. **数据库服务不可用** 当本地开发环境下的 MySQL 或其他数据库服务未启动时，也会报出类似的 “找不到数据库” 错误。可以尝试通过命令行或其他工具手动测试数据库连通性，确认其状态是否正常运行。 #### 5. **IDEA 缺乏 SQL 提示支持** 若开发者希望获得更友好的编码体验，在 IDEA 上完成相应设置后能够享受智能补全功能带来的便利。具体做法可参照文档说明调整插件选项以便增强用户体验效果[^4]。 --- ### 解决方案总结 针对上述可能存在的各类状况逐一排查即可定位根本所在；同时注意保持各组件间良好的协作关系以减少不必要的麻烦发生几率。 ```java // 示例代码片段展示如何定义一个简单的 DAO 层类 public interface UserMapper extends BaseMapper<UserEntity> {} ```
评论 87
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

明明跟你说过

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值